生成AIは、文章、画像、音声、映像などを作成する技術として広く利用されている。一方、この生成能力は、人をだますための情報を作成し、サイバー犯罪へ利用する目的でも悪用され得る。

重要なのは、生成AIによってまったく新しい犯罪だけが生まれるということではない。詐欺、なりすまし、偽造、ソーシャルエンジニアリングなど、既に存在する行為の作成速度、規模、個別化の程度が変わる点にある。

4.1 生成AIはサイバー犯罪をどう変えるのか

生成AIは、入力された指示や情報を基に、自然な文章、画像、音声、映像などを生成できる。犯罪へ悪用された場合には、偽の連絡、合成された人物の画像、模倣した音声、改変された文書など、人の判断を誤らせる材料を作るために利用される可能性がある。

従来も、偽のメールや加工画像を用いた欺瞞は存在していた。しかし、それぞれの対象に合わせて内容を作り、複数の媒体へ展開し、反応に応じて修正するには、時間と作業が必要であった。生成モデル、予測分析、自動化を組み合わせることで、こうした処理の一部を高速に繰り返せるようになる。

この変化は、欺瞞を個別の手作業から、反復可能な処理へ変える。生成AIによる犯罪の問題は、偽物の品質だけではなく、欺瞞を作成し、届け、調整する一連の活動が機械的な速度で進み得ることにある。

4.2 欺瞞の産業化

生成AIによって欺瞞を大量かつ継続的に作れるようになる変化は、欺瞞の産業化として捉えられる。ここでいう産業化は、単に偽の情報が増えるという意味ではない。生成、個別化、配布、修正などを組み合わせ、同じ仕組みを多数の対象へ適用できる状態を指す。

欺瞞の産業化によって変化する要素は、次のように整理できる。

表4-1 生成AIによって変化する欺瞞の特徴

要素	変化
速度	文章や合成メディアを作成し、内容を修正するまでの時間を短縮できる
規模	同じ仕組みを用いて、多数の対象へ異なる内容を生成できる
個別化	対象に関する情報に合わせて、連絡内容や表現を変更できる
媒体	文章だけでなく、画像、音声、映像などを組み合わせられる
適応	反応や検知方法に応じて、欺瞞の内容や見せ方を変更できる

このうち一つだけが独立して働くとは限らない。対象に合わせた文章へ、合成した画像や音声を組み合わせ、それを多数の相手へ送ることで、規模と説得力の両方を高めることができる。

4.3 高度に個別化されたソーシャルエンジニアリング

ソーシャルエンジニアリングは、人の信頼、思い込み、緊急性への反応などを利用して、情報の提供や操作を促す方法である。生成AIは、対象や状況に合わせた文章を作成することで、こうした欺瞞の個別化に利用され得る。

例えば、同じ要求を伝える場合でも、取引先からの連絡、社内の担当者からの依頼、利用中のサービスからの通知など、相手が信じやすい形式へ表現を変えることができる。

また、個別化されたメッセージを一件ずつ人が作るのではなく、複数の対象へ異なる内容を生成できれば、標的を絞った欺瞞と大規模な配布を両立できる可能性がある。これにより、明らかに不自然な大量送信だけを探す対策では、判断が難しくなる。

4.4 合成メディアとディープフェイク

合成メディアは、AIなどを用いて生成または加工された文章、画像、音声、映像などの情報である。その中でも、実在する人物の外見や声を本物らしく再現したものは、一般にディープフェイクと呼ばれる。

合成された画像や映像は、実在する人物が発言または行動したように見せるために悪用される可能性がある。音声クローンは、本人の声に似た音声を作り、電話や音声メッセージによるなりすましへ利用され得る。

そのため、映像や音声が本人らしく見えることと、その連絡が実際に本人から送られたことを分けて考える必要がある。不可逆な操作や重要な承認では、リアルタイムの本人確認や多要素認証などを組み合わせる必要がある。

4.5 文書偽造と合成されたアイデンティティ

生成AIの悪用は、画像や音声だけに限られない。説明文、申請書、証明資料、人物画像などを組み合わせ、実在または架空の人物として一貫して見える情報を構成するために利用される可能性もある。

このように、複数の情報を組み合わせて作られた人物像は、合成されたアイデンティティとして、本人確認や取引相手の確認を難しくする。個々の情報だけを確認しても、全体として同じ人物に結び付く情報なのか、生成または改変された情報が混在していないかを判断できない場合がある。

書式が整っていること、複数の資料で氏名や画像が一致すること、説明内容に矛盾がないことだけでは、真正性を保証できない。形式の整合性だけでなく、情報がどこから発行され、どの経路で提出されたのかを確認する必要がある。

4.6 攻撃サイクルの短縮と適応的な回避

生成AIと自動化は、欺瞞を作成してから利用するまでの攻撃サイクルを短縮する。文章や合成メディアを作成し、異なる表現を試し、結果に応じて内容を変える処理を繰り返しやすくなるためである。

さらに、検知方法や審査基準に合わせて行動を変える適応的な回避も問題となる。資金洗浄では、不正な資金の流れを監視する仕組みに対して、通常の取引パターンを模倣し、検知を避けようとする場合がある。

防御側が一つの特徴を基に検知しても、攻撃側がその特徴を変更すれば、同じ方法を使い続けることはできない。生成と検知の双方が変化するため、固定された判定規則だけで継続的に対応することは難しくなる。

4.7 デジタル証拠への信頼

生成AIによる欺瞞は、偽の情報を信じさせるだけでなく、デジタル情報全体への信頼にも影響する。精巧な偽の画像、音声、映像、文書を作成できるようになると、表示された内容だけから真正性を判断することが難しくなる。

生成AIは、デジタル証拠への信頼や、情報を真正なものとして受け止めるための基盤を損なうおそれがある。問題は、偽物を検知できるかだけでなく、証拠の信頼性をどのように保つかへ広がる。

このため、デジタル証拠では、内容そのものに加えて、作成者、作成時点、取得経路、保存中の変更の有無などを確認できることが重要となる。真正性の確認手順を整えなければ、調査や判断の根拠となる情報の信頼性が低下する。

4.8 検知だけに依存しない対策

生成された情報を検知する技術は重要である。しかし、生成物の品質向上、再加工、検知方法に合わせた変更などによって、検知性能は影響を受ける。単一の検知結果だけで、情報が本物か偽物かを確定することは難しい。

対策では、内容の検知に加えて、情報の発行元と取得経路を確認し、重要な操作には複数の確認方法を設ける必要がある。例えば、送られてきた音声や映像だけで承認せず、リアルタイムの本人確認や多要素認証、送金などの重要な取引における確認手順を組み合わせる。

また、AIによって生成または加工された情報であることを示すマーキングやラベルは、利用者が情報の性質を判断するための材料となる。欧州連合では、生成・加工されたコンテンツのマーキングと、ディープフェイクなどの表示に関する透明性のための枠組みが整備されている。

対策には、マーキングやラベルに加えて、検知、リアルタイムの本人確認、多要素認証、重要な取引における確認手順、職員教育、対応計画などを組み合わせることが重要である。

まとめ

生成AIは、文章、画像、音声、映像などを作成する能力によって、ソーシャルエンジニアリング、なりすまし、文書偽造、合成されたアイデンティティなどへ悪用され得る。

大きな変化は、偽物を作れることだけではない。欺瞞の生成、個別化、配布、修正を反復可能な処理にし、攻撃サイクルを短縮できる点にある。これにより、標的を絞った欺瞞と大規模な実行が両立する可能性が生じる。

防御では、生成物を見分ける技術だけでなく、情報の出所、本人確認、承認手順、記録の真正性を組み合わせて確認する必要がある。見た目や声が本人らしいことと、その情報が真正であることを分けて考えることが、生成AI時代のサイバーセキュリティでは重要となる。

この記事について

参考文献

• 「A Review of Crime at Machine Speed: Criminological Aspects of Artificial Intelligence’s Industrialisation of Deception」Paolo Bailo、Ascanio Sirignano、Giulio Nittari、Giuseppe Visconti、Giuliano Pesel、Tommaso Spasari、Giovanna Ricci 著

参考資料

• National Security Agency（NSA）、Federal Bureau of Investigation（FBI）、Cybersecurity and Infrastructure Security Agency（CISA）「Contextualizing Deepfake Threats to Organizations」
• European Commission「Code of Practice on Transparency of AI-generated Content」

（最終閲覧日：2026年10月17日）


※本記事は、上記文献を参考にしつつ、筆者の理解に基づき整理したものである。