生成AIは、画像・文章・音声・プログラムなどを自動生成できる技術として急速に普及しています。その一方で、悪意ある利用によって、他人の顔写真を加工した偽画像の拡散や、フィッシング詐欺、マルウェア生成など、さまざまな被害事例が現実に起きています。
とくに、個人を標的にしたディープフェイク画像の流通や、子どもを含む性的な合成画像の作成は、プライバシー侵害や名誉毀損にとどまらず、刑事事件に発展するケースも報告されています。
そこで本記事では、生成AIの悪用により実際に発生している被害事例や、法的・社会的なリスク、被害を防ぐために知っておきたい初期対応のポイントについて解説します。
目次
生成AIの悪用によって拡大している被害
以下に、生成AIの悪用によって拡大している主な被害を整理します。
- 性的ディープフェイク被害
- 社会的信用・精神的被害
- フィッシング詐欺・AIスパム
- マルウェア作成支援・サイバー攻撃
- 個人情報・機密情報の漏えい
- なりすまし詐欺・偽情報の拡散
- 恐喝・詐取・偽造による人権侵害
特に、実在人物を使った偽画像・偽音声の拡散は、名誉毀損や精神的被害、就学・就業への悪影響を引き起こしており、回復が困難なケースも少なくありません。
また、自然な文章を生成できる特性を悪用したフィッシング詐欺やAIスパム、不正アクセスやマルウェア作成のハードル低下により、攻撃の裾野は大きく広がっています。加えて、生成AIへの入力情報が原因となる個人情報・機密情報の流出や、偽情報の大量拡散による社会的混乱も深刻化しています。
こうした問題が拡大している背景には、「誰でも・短時間で・大量に」高精度な偽コンテンツを生成でき、それがSNSを通じて瞬時に拡散される環境がある点が挙げられます。特に若年層では、軽い気持ちでの加工・共有が、いじめや人権侵害へ発展する事例も増えています。
日本の法制度上の課題
日本では、生成AIの悪用を直接取り締まる刑事罰は現時点で存在せず、既存の法律を組み合わせて対応している状況です。
- 名誉毀損罪：偽画像の場合、「事実の摘示」に該当するかが争点となり、適用が難しいケースも多い
- 侮辱罪：軽犯罪にとどまり、実効性が低い
- 肖像権・プライバシー権：侵害が認められても損害立証や拡散元特定が難しい
一方で、児童ポルノ禁止法では、AI生成による児童の性的画像が「児童ポルノ」として起訴された判例も出ており、司法判断の柔軟化が進みつつあります。
現在のAI基本法（2025年施行）は、罰則を伴わない「基本枠組み」にとどまっており、専門家からは以下のような整備が急務と指摘されています。
- 同意なき性的ディープフェイクを明確に違法とする新たな立法
- プラットフォームに対する削除義務・対応期限のルール化
- AI生成物の「出所の透明性」や「偽情報識別表示」の義務付け
生成AIを悪用した主な犯罪事例
日本国内ではここ数年、AIや生成AIを用いた違法行為に対する摘発・起訴が各分野で相次いでいます。以下では、報道された代表的な逮捕・起訴事案をカテゴリ別に整理しています。
生成AIによるマルウェア作成
2024年5月、川崎市の男性が対話型生成AIに命令し、ランサムウェア（マルウェア）を作成したとして「不正指令電磁的記録作成罪」で逮捕。同年10月には懲役3年・執行猶予4年の有罪判決が下され、これは日本で初めて生成AIによるマルウェア作成での有罪となりました。
出典：日本経済新聞
中高生による不正アクセス・詐欺事件
2024年、楽天モバイルのシステムに不正アクセスし、1000件以上の回線契約を自動で行うプログラムを生成AIで作成したとして、関東の中学生・高校生3人が「不正アクセス禁止法」および「電子計算機使用詐欺」の疑いで逮捕されました。
他人の楽天IDを不正利用し、契約端末を転売する手口が用いられていました。
出典：日本経済新聞
生成AIで偽通販サイトを大量作成
2025年、大阪府警が、生成AIを使って複数の偽通販サイトを自動生成し、盗んだクレジットカード情報で高額商品を購入・転売していたとして男性2人を逮捕しました。被害額は約2000万円とされ、犯行側が生成AIで攻撃ツールを構築していた事例です。
出典：産経新聞社
性的ディープフェイク・児童ポルノ関連事件
2025年〜2026年にかけて、次のような重大な事件が報道されています。
- 生成AIで作成した芸能人酷似のわいせつ画像を50万点以上作成・販売（逮捕）
- 実在の児童画像を基にAIで生成したわいせつ画像を所持（児童ポルノ禁止法で初の起訴）
これらは刑法175条（わいせつ電磁的記録媒体陳列）や児童買春・児童ポルノ禁止法に基づき摘発されており、性的ディープフェイクに対する法的対応の転換点とも言われています。
出典：Yahoo!ニュース
ChatGPTを悪用した業務妨害型サイバー攻撃
2025年、「快活CLUB」のサーバーに対してサイバー攻撃を行い、業務を妨害したとして高校生が逮捕。捜査の中で、攻撃コードの作成にChatGPTなどの生成AIが利用された可能性が指摘されています。
出典：読売新聞オンライン
特に生成AIで画像加工の被害事例
生成AIによるわいせつ画像の作成・掲載行為について、日本国内外で法的責任が問われたケースが相次いでいます。以下は報道に基づく代表的な事例です。
11日間で約300万枚、Grokを悪用した世界的被害
X（旧ツイッター）に搭載された生成AI「Grok（グロック）」を悪用し、実在の人物を性的な画像に加工する行為が世界中で相次ぎました。非営利団体CCDHの調査によれば、画像編集機能が追加された2023年12月29日〜2024年1月8日のわずか11日間で、約460万枚の画像が生成され、約65%が性的画像で、約0.5%が子どもを対象としたものだったと報じられました。
結果として、性的画像は約300万枚、児童の性的画像は約2万3000枚に達する可能性があると推計されています。被害者には著名人や一般人、自撮り写真を悪用されたケースも含まれ、英国やアジア各国ではアクセス制限・政府の調査が始まるなど、国際的な問題となっています。
出典：Yahoo!ニュース
児童ディープフェイク画像を所持、初の起訴
元小学校教諭が児童の顔に酷似したわいせつな画像を生成AIで作成し、所持していたとして児童ポルノ禁止法違反で起訴された事件。性的ディープフェイクを児童ポルノと判断しての起訴は、全国初と報じられました。
出典：読売新聞オンライン
芸能人に酷似した画像を掲載し120万円得た事件
生成AIを使って芸能人や有名人に酷似したわいせつ画像を作成し、SNSに約2万点を投稿。閲覧料として約120万円を得たとして、わいせつ電磁的記録媒体陳列容疑で逮捕されました。芸能人に酷似したAI画像の摘発は全国初とされています。
出典：読売新聞オンライン
生成AIで作成したわいせつポスターを販売
生成AIで作成したわいせつな画像をポスターにして販売したとして、わいせつ図画頒布の疑いで容疑者4人が逮捕されました。生成AIを使った「わいせつ物販売事件」の摘発は全国初と報じられました。
出典：時事ドットコム
プラットフォームや各国の対応
生成AIによる性的画像の大量生成が報告されたことを受け、SNSやプラットフォーム側も一部対策を発表しています。
- 画像生成機能に編集制限を加える（例：露出の多い画像は加工不可）
- 実在人物の「衣服を脱がす」ような指示に応答しない仕様へ変更
- AIポリシー違反に対するアカウント停止措置の強化
ただし、ロイターなどの調査報道では、実際には多くの若年女性や未成年の画像が依然として不正に生成・共有されていることが確認されており、規制や監視が十分に機能していないという批判もあります。
海外では、これらの行為を「デジタル空間における性暴力」と明確に位置づけ、同意のない性的ディープフェイクに対する刑事罰の導入や、AI企業への規制義務の強化に踏み切る国も増えつつあります。
出典：ITmedia
出典：BBC
被害に遭った可能性があるときの初動対応
生成AIによって作成された不正なコンテンツにより、被害を受けた可能性がある場合、初動対応を誤ると証拠が失われたり、被害が拡大したりする恐れがあります。
画像や映像だけでなく、偽の音声、なりすまし文章、詐欺メールなども含め、次のポイントを意識して冷静に対応することが重要です。
証拠を確実に保全する
まず最も重要なのは、後から事実関係を示せるように証拠を保存しておくことです。焦って通報や削除を先に行うと、証拠が失われてしまう可能性があります。
- 対象となる画像・動画・音声・文章などの内容をスクリーンショットまたは保存
- 該当する投稿や送信元のURL、アカウント名、日時を記録
- 可能であればページ全体を保存（ブラウザのキャッシュ・アーカイブ機能なども活用）
サービス運営会社やSNSへの通報
証拠を保全した後は、該当するサービスやSNSの運営会社に対して通報・削除申請を行いましょう。
多くのプラットフォームでは、「なりすまし」「不正な画像・音声・投稿」「誹謗中傷」などのカテゴリで報告できる仕組みが用意されています。
ただし、削除されても内容が再投稿・拡散されることは少なくないため、通報だけで終わらせず、継続的な確認と対応が必要です。
警察や法律相談を検討する
被害の内容や拡散の程度によっては、警察への相談や法的対応も検討しましょう。
- 警察の性犯罪・サイバー犯罪相談窓口
- 法テラスや弁護士会の無料法律相談
- 専門支援団体（性暴力、インターネットトラブル、青少年支援など）
とくに未成年が関与している、金銭目的で拡散されている、企業や学校が巻き込まれているなどのケースでは、刑事事件として立件される可能性もあります。
なお、実際の写真や音声でなくても、「自分に酷似した人物」や「事実と異なる内容」によって精神的な苦痛や社会的評価の低下が生じた場合は、肖像権侵害・名誉毀損・プライバシー侵害として民事上の請求が可能となるケースもあります。
内容が複雑で対応に迷う場合は、専門家に相談し、状況に応じた方針を早めに整理しておくことをおすすめします。
情報漏えいや画像悪用・拡散の有無を詳しく調べるならフォレンジック調査会社へ相談
生成AIによる画像加工や偽情報の拡散は、本人の意思と無関係に重大な被害をもたらすケースが増えています。とくに「自分に酷似した人物」の性的ディープフェイクや、SNS上での拡散が絡む場合は、精神的な苦痛や社会的信用の低下など深刻な影響が残ります。
また、AIとのやりとりには無意識のうちに個人の悩み、財務・医療情報、業務機密などが含まれやすく、その内容が第三者に渡っていたとすれば、企業・個人を問わず重大な情報漏えいリスクにつながります。
表面的な削除や通報だけでは、実際にどの情報が残り、どこまで広がっているかを把握することは困難です。もし少しでも不安がある場合は、専門のフォレンジック調査会社による確認を行うことで、実際に漏えいがあったかどうかを技術的に明らかにできます。
フォレンジック調査（デジタルフォレンジック調査）とは、PCやスマホの内部ログを解析し、不正アクセスやマルウェア感染の有無を調べる技術です。警察の捜査でも活用され、情報漏えいの有無や被害範囲の特定に役立ちます。
被害が明らかになった際、フォレンジック調査が有効な理由は以下のとおりです。
- 侵入・拡散経路の特定：どこから誰が関与したのかを明確に
- 被害範囲の可視化：漏えいした情報・画像の範囲を特定
- 証拠データの保全：削除前の痕跡やログを安全に記録・保存
- 再発防止と信頼回復：調査結果をもとにした内部是正や外部説明
「自分のケースでも調査対象になるのか分からない」と感じる方も、まずは状況をお伺いしたうえで、必要な調査範囲や対応方針をご案内できます。少しでも不安があれば、お気軽にご相談ください。
DDFによる実際の調査事例
中高生によって生成AIが悪用され、同級生の写真を加工した画像が拡散された事案について、DDFに調査依頼が寄せられました。
本調査では、対象端末に該当画像が残っていないか、また他の媒体や外部サービスへ転送・保存されていないかといった点を中心に確認を行いました。
このようなケースでは、被害が拡大する前に早期の調査を実施することが極めて重要です。万が一、加工画像がダークウェブ上に流出したり、二次的に悪用された場合、被害は当事者個人にとどまらず、学校や企業など組織全体の信用低下につながるおそれがあります。
対応が遅れることで、社会的評価や信頼に深刻な影響を及ぼす可能性も否定できません。少しでも不安がある場合には、事態が深刻化する前に専門家へ相談し、適切な調査と対応を行うことが求められます。
生成AIの悪用は、最初は気づかれにくい「小さな異変」から始まり、深刻な被害に発展することもあります。「何が起きているか分からない」「対応が必要か判断できない」と感じたら、まずは現在の状況を明確にすることが大切です。
弊社デジタルデータフォレンジック（DDF）では、情報漏えい調査（ダークウェブ調査）、ランサムウェア、サイバー攻撃や不正アクセスの原因特定、被害範囲調査などを実施しています。官公庁、上場企業、捜査機関など、多様な組織のインシデント対応実績があり、相談や見積もりは無料、24時間365日体制でご依頼を受け付けています。
よくある質問
対応内容・期間などにより変動いたします。
詳細なお見積もりについてはお気軽にお問い合わせください。
専門のアドバイザーがお客様の状況を伺い、概算の見積りと納期をお伝えいたします。
可能です。当社は特定の休業日はございません。緊急度の高い場合も迅速に対応できるように、365日年中無休で対応いたしますので、土日祝日でもご相談下さい。
もちろん可能です。お客様の重要なデータをお取り扱いするにあたり、当社では機密保持誓約書ををお渡しし、機器やデータの取り扱いについても徹底管理を行っております。また当社では、プライバシーの保護を最優先に考えており、情報セキュリティの国際規格（ISO24001）およびPマークも取得しています。法人様、個人様に関わらず、匿名での相談も受け付けておりますので、安心してご相談ください。
この記事を書いた人
デジタルデータフォレンジック
エンジニア
