生成AIが起こした情報漏洩の事例7選。主な原因・リスクや対策も紹介

近年、ChatGPTをはじめとする生成AIの普及が急速に進んでいます。業務効率化や創造性向上に大きなメリットをもたらす一方で、情報漏洩という深刻なリスクも顕在化しています。

本記事では、実際に発生した生成AI関連の情報漏洩事例を詳しく分析し、企業や個人が取るべき対策について解説していきます。これらの事例を通じて、生成AI利用時の注意点を理解し、安全な活用方法を身につけましょう。

以下の記事では、生成AIの事例について様々な側面でまとめています。ぜひご覧ください。

従業員の生成AI利用が原因で漏洩した事例

この分類では、従業員や利用者が生成AIサービスを使用する際に発生した情報漏洩事例を取り上げます。システムの脆弱性や不適切な利用方法が原因となったケースが含まれます。

以下の事例を詳しく見ていきます：

• OpenAIがチャット履歴バグで他ユーザーに情報を誤表示した事例
• ChatGPTアカウント661件がダークウェブで流出した事例
• 複数企業で社員の無許可利用により情報漏洩リスクが発生した事例
• ChatGPT Plusで会員情報が他ユーザーに誤表示された事例

OpenAIがチャット履歴バグで他ユーザーに情報を誤表示した事例

ChatGPTで他人のチャット履歴が見えてしまうバグが発生、バグ修正にChatGPTは一時ダウン＆チャット履歴は利用不可のまま – GIGAZINE

項目	内容
企業名	OpenAI（ChatGPT）
業界	AIサービス提供
ビフォー	ユーザーが機密情報をチャットで入力・保存
アフター	システムバグにより一部のチャット履歴が他ユーザーに表示

2023年3月、ChatGPTにおいて重大なシステム障害が発生しました。インメモリデータベースの不具合により、約10時間にわたってユーザーのチャット履歴が別のユーザーに誤って表示される事態となりました。この間、機密情報や個人情報を含む会話内容が意図しない第三者の目に触れる可能性がありました。

特に深刻だったのは、クレジットカードの下4桁などの個人情報も漏洩対象に含まれていた点です。OpenAIは迅速にバグを修正し、影響を受けたユーザーに対して謝罪と説明を行いましたが、この事例は生成AIサービスにおけるシステム面での脆弱性を浮き彫りにしました。

ユーザー側では対策が困難な構造的リスクとして、今後の利用時により慎重な情報の取り扱いが求められることとなりました。

ChatGPTアカウント661件がダークウェブで流出した事例

生成AIで発生した情報漏洩の事例とは？さまざまなリスクと対策も紹介 | あんしんセキュリティ[ドコモのセキュリティ対策サービス]

項目	内容
企業名	調査対象：日本ユーザー（Group-IB報告）
業界	セキュリティ調査・サイバー犯罪
ビフォー	日本ユーザーがブラウザにChatGPTのログイン情報を保存
アフター	マルウェアにより661件のアカウント情報がダークウェブで流通

2022年6月から2023年5月にかけて、Info-Stealer型マルウェアによる大規模な情報窃取が発生しました。このマルウェアは日本国内のユーザーのブラウザを標的とし、ChatGPTのログイン情報を含む様々な認証情報を盗み取りました。盗まれた情報は661件に上り、ダークウェブの闇市場で実際に売買されていることが確認されています。

この事例では、ユーザー自身のセキュリティ意識の甘さが被害拡大の一因となりました。ブラウザにパスワードを保存する便利機能が、逆に攻撃者に悪用される結果となったのです。被害を受けたユーザーは、パスワードの変更や二段階認証の設定など、アカウントセキュリティの強化を迫られました。

この事例は、生成AI利用時においても基本的なサイバーセキュリティ対策の重要性を改めて示しています。

複数企業で社員の無許可利用により情報漏洩リスクが発生した事例

【最新事例】AI導入前必見｜中小企業が学ぶべき情報漏洩対策｜サイバーセキュリティ.com

項目	内容
企業名	パナソニックコネクト、サイバーエージェント、大和証券、GMOペパボ、ファインなど
業界	製造、広告、金融、IT、化学など多業種
ビフォー	社員が無許可でChatGPT等を業務に使用
アフター	業務情報がAIの学習データに含まれる可能性が発覚、各社で利用制限措置

2023年春頃から、複数の大手企業で従業員による生成AIの無許可業務利用が相次いで発覚しました。社内でのガイドライン整備が遅れる中、利便性を重視した従業員が独自に判断してChatGPTなどを業務に活用していたのです。

しかし、入力された業務情報がAIの学習データとして利用される可能性があることが判明し、企業機密や顧客情報の漏洩リスクが現実のものとなりました。各社は緊急的な対応として、生成AIの利用禁止措置や厳格なガイドライン策定を実施しました。

この事例は、新技術導入時における企業のリスク管理体制の重要性を示しています。従業員教育と明確な利用ルールの確立なしに、技術の恩恵だけを享受することの危険性が浮き彫りになりました。

ChatGPT Plusで会員情報が他ユーザーに誤表示された事例

OpenAIから一部のChatGPTユーザーの個人情報が流出 | TECH+（テックプラス）

項目	内容
企業名	OpenAI（ChatGPT Plus）
業界	AIサービス提供
ビフォー	有料プラン利用者が個人情報を登録
アフター	約10時間、他ユーザーに氏名・住所・クレジットカード下4桁等が誤表示

ChatGPTの有料版であるChatGPT Plusにおいて、2023年3月に深刻な個人情報漏洩バグが発生しました。システム障害により、約10時間にわたって会員の氏名、住所、クレジットカードの下4桁などの機密性の高い個人情報が、他のユーザーの画面に誤って表示される事態となりました。

この事例は、有料サービスにおける顧客情報管理の脆弱性を露呈し、個人情報保護法違反の可能性も指摘されました。影響を受けたユーザーからは、金銭的被害への懸念だけでなく、プライバシー侵害に対する強い不安の声が上がりました。

OpenAIは即座にバグを修正し、影響を受けたユーザーに対して詳細な説明と謝罪を行いましたが、この事件により生成AIサービスにおける個人情報保護体制の見直しが業界全体で議論されることとなりました。

企業の業務利用により漏洩した事例

企業が組織的に生成AIを業務に導入した際に発生した情報漏洩事例を取り上げます。適切なガバナンス体制やセキュリティ対策が不十分だったことが主な原因となっています。

以下の事例を詳しく見ていきます：

• 大手電機メーカーが開発中のソースコードを流出させた事例
• 顧客対応企業が個人情報をログに残し漏洩リスクを発生させた事例

大手電機メーカーが開発中のソースコードを流出させた事例

サムスン、ChatGPTの社内使用禁止　機密コードの流出受け | Forbes JAPAN 公式サイト（フォーブス ジャパン）

項目	内容
企業名	某大手電機メーカー（匿名）
業界	製造業（電機）
ビフォー	エンジニアが開発中の製品ソースコードの修正依頼をChatGPTに入力
アフター	機密コードがAIの学習データに含まれ、第三者への再出力リスクが発生

大手電機メーカーにおいて、製品開発部門のエンジニアがChatGPTにソースコードの修正を依頼する際、開発中の機密コードをそのまま入力してしまう事案が発生しました。

このコードには製品の設計思想や技術的なノウハウが含まれており、競合他社に知られてはならない重要な企業機密でした。問題は、入力されたコードがChatGPTの学習データとして蓄積され、将来的に他のユーザーへの回答として再出力される可能性があることです。

この事例では、エンジニア個人の判断による利用だったため、社内の情報管理部門が事態を把握するまでに時間がかかりました。発覚後、同社では生成AI利用に関する厳格なガイドラインを策定し、機密情報の入力を禁止する措置を講じました。この事件は、技術者の利便性追求と企業の情報セキュリティ対策の間で生じるギャップを浮き彫りにした重要な事例です。

顧客対応企業が個人情報をログに残し漏洩リスクを発生させた事例

ChatGPTの落とし穴：情報漏洩事例と対応策 – 株式会社スクーティー ブログ

項目	内容
企業名	顧客対応企業（社名非公開）
業界	顧客サポート・IT業
ビフォー	顧客からの問い合わせ対応にChatGPTを活用し、個人情報を含む内容を入力
アフター	顧客の氏名・住所・電話番号等が出力結果やログに残り外部保存される

顧客サポート業務の効率化を目的として生成AIを導入した企業で、重大な個人情報漏洩リスクが発覚しました。カスタマーサービス担当者が顧客からの問い合わせに対応する際、より適切な回答を得るために顧客の詳細情報をChatGPTに入力していたのです。

入力内容には顧客の氏名、住所、電話番号、購入履歴などの機密性の高い個人情報が含まれていました。これらの情報は生成AIの出力結果とともにログファイルに記録され、外部のサーバーに保存される仕組みとなっていました。問題発覚後の調査により、数百件の顧客情報が意図せず外部に保存されていることが判明しました。

この企業では緊急的にシステムの運用を停止し、データガバナンス体制の全面的な見直しを実施しました。この事例は、業務効率化を急ぐあまり、個人情報保護の基本原則を見落とした典型的なケースとして、多くの企業に警鐘を鳴らしています。

情報漏洩で経済的損害が発生した事例

生成AIによる情報漏洩が実際の経済的損失や信用失墜につながった事例を紹介します。技術的な問題だけでなく、ビジネスへの直接的な影響を理解することが重要です。

中小企業がAI生成文書で他社情報を混入させ契約解除となった事例

【最新事例】AI導入前必見｜中小企業が学ぶべき情報漏洩対策｜サイバーセキュリティ.com

項目	内容
企業名	中小企業（業種非公開）
業界	サービス業（汎用）
ビフォー	ChatGPTを使用して顧客向け報告書を作成
アフター	生成された文書に他社の社名や機密内容が混在し、顧客との信頼関係が破綻

ある中小企業において、業務効率化のためにChatGPTを活用して顧客向けの報告書を作成していたところ、深刻な情報混入事故が発生しました。生成AIが出力した報告書の中に、全く関係のない他社の社名や事業内容、さらには機密性の高い情報が混在していたのです。

この報告書は顧客に提出される前に社内でチェックされるべきでしたが、生成AIの出力をそのまま信用してしまい、適切な確認作業が行われませんでした。顧客がこの混入情報を発見した際、情報管理体制への不信と契約内容の信憑性に対する疑念が生じました。結果として、長年築いてきた信頼関係は一瞬で崩れ去り、契約の解除という最悪の事態に至りました。

この企業は他の既存顧客からも信頼を失い、売上の大幅な減少という経済的打撃を受けることとなりました。この事例は、生成AI利用時における出力内容の検証体制の重要性と、中小企業における情報管理リスクの深刻さを示した代表的なケースです。

---

生成AI利用時の情報漏洩リスクは？

生成AIを業務で活用する際に潜在的に存在する情報漏洩のリスクについて、技術的な仕組みから具体的な対策まで詳しく解説します。

以下のポイントを詳しく見ていきます。

生成AIの学習メカニズムによる情報保存リスク

生成AIが情報漏洩リスクを抱える根本的な原因は、その学習の仕組みにあります。ChatGPTのような汎用的な生成AIは、ユーザーが入力した内容を今後のサービス改善や学習データとして活用する場合があります。

つまり、機密情報を含む質問や文書を入力すると、その内容がAIの記憶として蓄積され、将来的に他のユーザーへの回答に反映される可能性があるのです。特に無料版のサービスでは、この学習機能が有効になっているケースが多く、ユーザーが意図しない形で情報が共有されるリスクが存在します。

ただし、有料版では学習機能をオフにできるオプションが提供されている場合もあり、サービスの種類や設定によってリスクレベルは大きく異なります。

情報が漏洩する代表的なパターン

生成AIによる情報漏洩は、主に4つのパターンで発生しています。第一に、従業員の個人判断による無許可利用です。社内ルールが未整備の状況で、利便性を重視した従業員が機密情報を含む業務をAIに依頼してしまうケースです。第二に、システムバグや技術的な不具合による意図しない情報表示があります。

これは利用者側では防ぎようのないリスクですが、サービス選択時の信頼性評価が重要となります。第三に、出力結果への他者情報の混入です。AIが学習した他の情報が意図せず混ざって出力される現象で、特に報告書や提案書作成時に注意が必要です。

第四に、外部攻撃によるアカウント情報の窃取です。マルウェアやフィッシング攻撃により、AIサービスのログイン情報が盗まれ、不正アクセスされる危険性があります。

公開APIとプライベート環境でのセキュリティ差

生成AIの利用環境によって、情報セキュリティのレベルは大きく異なります。一般的な公開APIサービスでは、多数のユーザーが同一のシステムを共有するため、前述の学習データ化や情報混入のリスクが相対的に高くなります。

一方、企業向けのプライベート環境やエンタープライズ版では、学習機能の無効化、データの分離保存、専用サーバーでの処理など、より厳格なセキュリティ対策が施されています。また、データの保存期間や処理ログの管理方法についても、プライベート環境では企業の要求に応じたカスタマイズが可能です。

ただし、これらの高セキュリティ環境は導入コストが高く、技術的な専門知識も必要となります。企業は自社の情報資産の重要度と予算を考慮して、最適な環境選択を行う必要があります。

オンプレミス型導入による情報保護の可能性

最も高いセキュリティレベルを求める企業には、オンプレミス型の生成AI導入という選択肢があります。これは、外部のクラウドサービスを利用せず、自社のサーバー内でAIシステムを構築・運用する方法です。この方式では、すべてのデータが社内システム内で処理されるため、外部への情報流出リスクを最小限に抑えることができます。

また、企業独自のセキュリティポリシーに完全に準拠したシステム設計が可能で、監査要件への対応も容易になります。しかし、オンプレミス型導入には高度な技術力と相当な投資が必要です。AI用の専用ハードウェア調達、システム構築、継続的な運用・保守体制の確立など、総合的なプロジェクト管理能力が求められます。

社内で生成AIを活用するときの注意点

企業が生成AIを実際に導入・運用する際に押さえておくべき実務的な注意点を解説します。サービス選択から運用体制まで、失敗を避けるための重要なポイントを整理しました。

無料版と有料版のセキュリティ機能差

生成AIサービスの無料版と有料版では、セキュリティ機能に大きな違いがあります。無料版では一般的に、ユーザーの入力内容がサービス改善のための学習データとして活用される場合が多く、企業の機密情報が意図せず他のユーザーへの回答に反映されるリスクがあります。

一方、有料版では学習機能をオフにするオプションが提供されており、入力内容がAIの学習に使われないよう設定可能です。また、データの保存期間についても違いがあり、無料版では長期間保存される場合がある一方、有料版では企業の要求に応じて短期間での削除や保存しない設定が選択できます。

さらに、有料版では専用のサポート体制、より厳格なアクセス制御、監査ログの提供なども含まれることが多く、企業利用には不可欠な機能が充実しています。

個人利用と業務システム組み込みでのリスク違い

生成AIの活用方法によって、情報漏洩リスクの性質と対策アプローチが大きく異なります。個人利用の場合、社員一人ひとりの判断に依存する部分が大きく、人的ミスによるリスクが主要な懸念となります。この場合、教育と啓発活動、明確なガイドラインの提供が中心的な対策となります。

一方、業務システムに組み込む場合は、システム設計段階での技術的な対策が重要になります。例えば、機密情報を自動的に検知して入力を阻止する仕組み、利用ログの自動記録、承認フローの組み込みなどです。

また、システム組み込み型では一度に大量の情報を処理する可能性があるため、個人利用と比べて漏洩時の影響範囲が格段に大きくなります。

利用履歴とログ管理の可能性と限界

生成AI利用時のログ管理は、セキュリティ対策と従業員のプライバシー保護のバランスを取る必要がある複雑な課題です。技術的には、どのユーザーがいつサービスにアクセスしたか、どの程度の頻度で利用しているかといった基本的な利用状況は把握可能です。

しかし、具体的な入力内容や出力結果まで詳細に記録・監視することは、従業員の業務効率や創造性を阻害する可能性があります。多くの企業では、異常なアクセスパターンの検知や、禁止されたサービスへの接続試行の監視に留めています。

また、ログデータの保存期間や管理方法についても、法的要件と実務上の必要性を考慮して適切に設定する必要があります。重要なのは、ログ管理の目的と範囲を明確にし、従業員に対して透明性を保つことです。

高機密業務での生成AI活用の可否判断

企業の中核となる機密性の高い業務での生成AI活用については、慎重な可否判断が必要です。判断基準として、まず情報の機密レベルを客観的に評価する必要があります。営業秘密、未発表の製品情報、顧客の個人情報、財務データなどの最高機密情報については、原則として外部サービスの利用を避けるべきです。

一方、社内限定だが機密性がそれほど高くない情報については、適切なセキュリティ対策を講じた上で限定的な活用を検討できます。具体的には、オンプレミス型の生成AI導入、プライベートクラウド環境での利用、または機密情報を除去・匿名化した上での活用などの選択肢があります。

また、業務プロセスの見直しにより、機密情報を扱わない範囲でAIを活用する方法も検討価値があります。例えば、機密情報を含む文書作成の前段階でのアイデア出しや構成検討にのみAIを活用し、実際の文書作成は従来通り人手で行うといったアプローチです。

外部ベンダー活用時の契約上の重要事項

生成AI関連業務を外部ベンダーに委託する場合、契約条項に十分な注意を払う必要があります。最も重要なのは、データの取り扱いに関する詳細な規定です。

委託先がどのような生成AIサービスを使用するか、企業の情報がAIの学習データとして利用されないことの保証、データの保存場所と期間、処理完了後の確実な削除などを明記する必要があります。また、情報漏洩が発生した場合の責任分担、損害賠償の範囲、対応手順についても事前に合意しておくことが重要です。

さらに、委託先の情報セキュリティ体制についても確認が必要で、ISO27001などの認証取得状況、社員教育の実施状況、技術的な対策の詳細などを契約前に評価します。定期的な監査の実施権限、緊急時の連絡体制、契約終了時のデータ返却・削除手順なども契約に含めることで、長期的に安全な委託関係を維持できます。

生成AI情報漏洩対策ならニューラルオプト

生成AIの情報漏洩対策でお悩みの企業には、合同会社ニューラルオプトをお勧めします。当社は世界的生成AIであるChatGPTの開発に携わるAI開発企業として、日本で展開されているChatGPTの裏側技術に精通しています。

単なる開発会社ではなく、「失敗リスクを最小化する」をコンセプトに、課題解決コンサルティングから始まる総合的な支援が可能です。情報漏洩リスクを抱えたまま生成AIを導入するのではなく、まず御社の課題を詳しくヒアリングし、最適なセキュリティ対策を含めた解決策を提案いたします。

ECサイト「eBay」の価格自動設定AIや手書き文字認識システムなど、企業の機密情報を適切に保護しながらAI活用を実現した豊富な実績があります。データサイエンスの知見も活かし、組織への定着支援から運用改善まで、長期的なパートナーとして御社のAI活用成功を支援します。