これから紹介する研究報告では、学習データとして無償で流通しているオープンソースの巨大データセットに、個人情報やクレジットカード情報、機微な個人情報が多く含まれていることが明らかになりました。
生成AIサービスの提供や、学習データの収集や流通において、私たちが納得できる制限を設ける必要がありそうです。
生成AIサービスの提供や、学習データの収集や流通において、私たちが納得できる制限を設ける必要がありそうです。
研究報告
米カーネギーメロン大学のAI倫理学の研究者らが、2023年（令和5年）にリリースされた128億のデータサンプルを誇る DataComp CommonPool のうちのわずか0.1％のサブセットを調査したところ、クレジットカード、運転免許証、パスポート、出生証明書などの画像を含む、数千件の検証済み身分証明書と、履歴書やカバーレターを含む800件以上の検証済み求人応募書類を発見しました。多くの履歴書には、障害の有無、身元調査の結果、扶養家族の生年月日と出身地、人種といった機微な個人情報も記載されていました。
DataComp CommonPool は過去2年間で200万回以上ダウンロードされているため、このデータセットで訓練された下流モデルが多数存在する可能性が高いとみられています。
また、一度学習データとして登録されてしまうと、たとえネット上のオリジナル・ファイルを削除しても、学習データ上では削除されず、永遠にデータが流通し続ける可能性があります。
DataComp CommonPool は過去2年間で200万回以上ダウンロードされているため、このデータセットで訓練された下流モデルが多数存在する可能性が高いとみられています。
また、一度学習データとして登録されてしまうと、たとえネット上のオリジナル・ファイルを削除しても、学習データ上では削除されず、永遠にデータが流通し続ける可能性があります。
また、商用の生成AIは、どの学習データを利用したかを明らかにしていないことが多いです。そうした生成AIを利用することで、実在する個人情報を引き出すことができるかもしれません。
2021年（令和3年）にGoogleやスタンフォード大学、OpenAIなどの研究者らが発表した論文「」では、GPT-2から個人情報などを抽出できることが示されています。本論文では、GPT-2に「〇〇さんの住所は...」などの個人情報の抽出を意図したプロンプトを入力し、それに続く文章の生成を指示しています。その結果、GPT-2は氏名や電話番号、Eメールアドレスなどを含む個人情報やチャットの履歴、公開することが好ましくないソースコードやUUIDなどを含む文章を応答することが確認されています。この論文より、GPT-2は意図的・偶発的にかかわらず個人情報などを学習しており、第三者が入力したプロンプトをきっかけに個人情報などを開示するリスクが顕在化していることが明らかになっています。
研究者たちは、米国のプライバシー関連法制は学習データの収集に対して不十分であると警鐘を鳴らしています。
2021年（令和3年）にGoogleやスタンフォード大学、OpenAIなどの研究者らが発表した論文「」では、GPT-2から個人情報などを抽出できることが示されています。本論文では、GPT-2に「〇〇さんの住所は...」などの個人情報の抽出を意図したプロンプトを入力し、それに続く文章の生成を指示しています。その結果、GPT-2は氏名や電話番号、Eメールアドレスなどを含む個人情報やチャットの履歴、公開することが好ましくないソースコードやUUIDなどを含む文章を応答することが確認されています。この論文より、GPT-2は意図的・偶発的にかかわらず個人情報などを学習しており、第三者が入力したプロンプトをきっかけに個人情報などを開示するリスクが顕在化していることが明らかになっています。
研究者たちは、米国のプライバシー関連法制は学習データの収集に対して不十分であると警鐘を鳴らしています。
Extracting Training Data from Large Language Models, 2020年12月14日
日本の個人情報保護法
わが国の個人情報保護法は、学習データの収集を特定して制約を課しているわけではありませんが、たとえば、第18条・第18条では利用目的の特定と通知・公表を義務づけています。ここから、学習データとして個人情報を収集するなら、正統な取得と目的開示が求められます。
また、第18条第2項により、個人情報を、本人の同意なしに当初の目的以外に利用してはいけません。たとえば、他社が収集したデータに個人情報が入っているならば、それを勝手に学習データに使うことは違法行為になります。
第23条では、本人の同意なく、個人情報を第三者（たとえば外部AI開発会社）に提供することはできません。
第36条からは、個人を特定できないように加工された情報（匿名加工情報等）であれば、一定の条件下で第三者提供や学習利用が可能であることを規定しています。ここでは、個人の再識別ができないようにしなければならないという厳格な要件があります。
2023年（令和5年）に、個人情報保護委員会は「生成AIサービスの利用に関する注意喚起」というパンフレットを作り、生成AIサービス利用時に個人情報保護法違反をしないよう注意を呼びかけています。
また、第18条第2項により、個人情報を、本人の同意なしに当初の目的以外に利用してはいけません。たとえば、他社が収集したデータに個人情報が入っているならば、それを勝手に学習データに使うことは違法行為になります。
第23条では、本人の同意なく、個人情報を第三者（たとえば外部AI開発会社）に提供することはできません。
第36条からは、個人を特定できないように加工された情報（匿名加工情報等）であれば、一定の条件下で第三者提供や学習利用が可能であることを規定しています。ここでは、個人の再識別ができないようにしなければならないという厳格な要件があります。
2023年（令和5年）に、個人情報保護委員会は「生成AIサービスの利用に関する注意喚起」というパンフレットを作り、生成AIサービス利用時に個人情報保護法違反をしないよう注意を呼びかけています。
2026年の法改正
本稿を掲載したあとの2026年（令和8年）7月10日、改正個人情報保護法が参議院本会議で可決され、成立しました。今回の改正は、AI開発や統計分析のためのデータ利活用を促進する一方で、顔認証データや子どもの情報、悪質なデータ流通に対する規律を強化するという、規制緩和と規制強化の両面をあわせ持ちます。
改正の柱は、大きく4つです。第1に、統計情報の作成やAI開発にしか使わない場合に限り、個人データを第三者へ提供する際の本人同意を不要とする「統計作成等の特例」が新設されました。ネット上に公開された病歴や犯罪歴などの要配慮個人情報を、Webスクレイピングで取得する場合も、一定事項を公表すれば本人同意が不要になります。第2に、病院などの医療機関を学術研究例外に含めるなど、同意不要の例外が一部拡大されました。第3に、顔特徴データを「特定生体個人情報」と位置づけるなど、顔認証データや16歳未満の子どもの情報に新たな規律が設けられました。第4に、悪質な違反に対する課徴金制度が導入されました。
改正法は公布後2年以内に施行される見通しで、全面施行は2028年（令和10年）ごろになる見込みです。
改正法は公布後2年以内に施行される見通しで、全面施行は2028年（令和10年）ごろになる見込みです。
個人情報の保護に関する法律等の一部を改正する法律案の概要：個人情報保護委員会
この改正によって、国民が得られるベネフィットを整理します。
まず、AI開発やデータ連携が進めやすくなることで、より高精度で便利な生成AIサービスや、統計にもとづく行政・医療サービスの向上が期待できます。次に、病院などの医療機関が学術研究例外を使えるようになり、臨床症例の分析にもとづく医学・生命科学の研究が進みやすくなります。
規律を強化する面でも国民の利益があります。名簿業者による「闇名簿」対策として、オプトアウトによる第三者提供では、提供先の氏名・住所や利用目的の確認が事業者に義務づけられます。顔特徴データについては本人への周知義務や利用停止請求の要件緩和が図られ、16歳未満の子どもの情報は、法定代理人の関与と「本人の最善の利益」を優先して考慮することが求められます。さらに、悪質な違反には課徴金が科されるため、大量の個人情報を扱う事業者に対する抑止力が高まります。
まず、AI開発やデータ連携が進めやすくなることで、より高精度で便利な生成AIサービスや、統計にもとづく行政・医療サービスの向上が期待できます。次に、病院などの医療機関が学術研究例外を使えるようになり、臨床症例の分析にもとづく医学・生命科学の研究が進みやすくなります。
規律を強化する面でも国民の利益があります。名簿業者による「闇名簿」対策として、オプトアウトによる第三者提供では、提供先の氏名・住所や利用目的の確認が事業者に義務づけられます。顔特徴データについては本人への周知義務や利用停止請求の要件緩和が図られ、16歳未満の子どもの情報は、法定代理人の関与と「本人の最善の利益」を優先して考慮することが求められます。さらに、悪質な違反には課徴金が科されるため、大量の個人情報を扱う事業者に対する抑止力が高まります。
一方で、リスクや懸念も指摘されています。
最大の論点は、病歴や信条、犯罪歴といった機微な要配慮個人情報まで、本人の同意なく取得・提供され、AIの学習データに使われうる点です。前述のとおり、一度学習データに取り込まれた情報は、後から完全に削除することが難しく、本人が知らないうちにプライバシーを侵害されたり、差別につながったりするおそれがあります。こうした懸念から、立憲民主党や共産党などは改正に反対しました。
また、改正法は新しい用語や例外規定が多く、条文が非常に複雑になりました。事業者が「何ができて何ができないのか」を正しく理解するのが難しく、運用を誤れば個人の権利利益を害する事態も起こりえます。私たち利用者の側も、自分の情報がどのように使われうるのかを知り、必要に応じて利用停止などの権利を行使していく姿勢が求められます。
最大の論点は、病歴や信条、犯罪歴といった機微な要配慮個人情報まで、本人の同意なく取得・提供され、AIの学習データに使われうる点です。前述のとおり、一度学習データに取り込まれた情報は、後から完全に削除することが難しく、本人が知らないうちにプライバシーを侵害されたり、差別につながったりするおそれがあります。こうした懸念から、立憲民主党や共産党などは改正に反対しました。
また、改正法は新しい用語や例外規定が多く、条文が非常に複雑になりました。事業者が「何ができて何ができないのか」を正しく理解するのが難しく、運用を誤れば個人の権利利益を害する事態も起こりえます。私たち利用者の側も、自分の情報がどのように使われうるのかを知り、必要に応じて利用停止などの権利を行使していく姿勢が求められます。
改正個人情報保護法成立 AI開発への個人情報提供、同意不要に：日本経済新聞, 2026年7月10日
参考サイト
- A Common Pool of Privacy Problems: Legal and Technical Lessons from a Large-Scale Web-Scraped Machine Learning Dataset：arXiv, 2025年7月20日
- Extracting Training Data from Large Language Models, 2020年（令和2年）12月14日
- 生成AIサービスの利用に関する注意喚起：個人情報保護委員会
- 個人情報の保護に関する法律等の一部を改正する法律案の概要：個人情報保護委員会, 2026年（令和8年）
- 改正個人情報保護法成立 AI開発への個人情報提供、同意不要に：日本経済新聞, 2026年（令和8年）7月10日
- 個人情報保護法改正案の閣議決定を読む ── AI・統計分析のための利活用拡大と、執行強化の両面 ──：インターネットプライバシー研究所, 2026年（令和8年）
（この項おわり）
現在、さまざまな生成AI がありますが、それらを構築するには大量の学習データを投入する必要があります。学習データの出所は明らかにされていないことがほとんどですが、有識者の間では、ネットに投稿された情報はすべて学習データとして利用されているだろうと考えています。その中には、外部から読み取れないようになっているはずの個人特定情報やクレジットカード情報、健康などに関する機微な個人情報が含まれている可能性もあります。