powered by TechFeed
表示モード
主要ニュース

OpenAIがCSAM検出AIを無償公開 — 人間レビューを48%削減し、調査支援まで踏み込んだ子ども安全対策の全容

11月17日、Digital Trendsが「OpenAI introduces stricter ChatGPT interventions to prevent the misuse of AI for child exploitation」と題した記事を公開した。OpenAIが児童性的搾取コンテンツ(CSAM)の検出AIや開発者向けツールをChatGPTに導入し、子どもの安全対策を強化したという内容だ。

11月17日、Digital Trendsが「OpenAI introduces stricter ChatGPT interventions to prevent the misuse of AI for child exploitation」と題した記事を公開した。OpenAIが児童性的搾取コンテンツ(CSAM)の検出AIや開発者向けツールをChatGPTに導入し、子どもの安全対策を強化したという内容だ。


画像分類AIをAPI経由で無償提供——精度と効率が向上

今回の発表の核心は、AI生成画像を含むCSAMを検出する画像分類器の提供開始だ。このツールはOpenAIの公式アナウンスとして11月16日に公表された。

この分類器は画像にスコアを付与し、安全チームが人間によるレビューの優先順位を判断できるようにする仕組みだ。OpenAIは、子どもの安全に関わる団体や技術企業など、審査を通過した組織に対してAPIを無償で提供する方針を示している。

内部評価によると、このツールは人間によるレビューが必要な画像数を約48%削減しつつ、既存ツールとほぼ同等の検出数を維持できるとしている。さらに、フラグが立てられた画像がCSAMを含む確率は、既存ツールの約2倍だったという。

外部パートナーによる独自テストでも以下の結果が報告されている:

  • **Fal**(AI画像・動画生成APIプロバイダー):高信頼度フラグの72%を人間のレビュアーが新規CSAMとして確認
  • **invideo AI**(AIを活用した動画生成プラットフォーム):フラグが立てられたケースの4件に1件がアカウント停止につながった
  • **SafetyKit**(コンテンツモデレーション向けAPIサービス):子どもを性的に描いた画像やアニメーションを含むケースの90%を検出

このツールは全米行方不明・被搾取児童センター(NCMEC)の協力を得て開発されており、Tech CoalitionやROOSTといった組織とも連携してプラットフォーム間の情報共有を進めている。NCMECはCSAMのデータベース管理や通報受理を担う米国の中核機関であり、Tech CoalitionはCSAM対策に取り組むテクノロジー企業の業界団体だ。

生成AIが普及することで合成コンテンツの作成が容易になり、既存の検出手法が通用しないケースが増えている。この課題に対してプラットフォーム横断的に対処しようとする点が、今回の取り組みの特徴だ。


ChatGPTの介入強化と開発者向けガイダンスの整備

技術ツールの提供に加え、ChatGPT自体の挙動にも変更が加わっている。ユーザーが有害なコンテンツを求める操作を試みた場合、警告メッセージが表示され、当該会話が削除されたうえでChatGPTへのアクセスが24時間停止される。繰り返し違反した場合は、より長期の制限やアカウント停止、当局への通報にまで踏み込む可能性があるとしている。

また、開発者向けの安全ガイダンスも新たに公開された。コンテンツ検出、ユーザー報告、モデレーション、エスカレーション手順といった実践的な内容をカバーしている。

さらに、認可を受けた子ども安全調査員に対しては、長大なチャットログや法的記録をレビューし、関連性を特定したり、ソース素材と紐づけたタイムラインを構築するためのAIツールが提供される。有害コンテンツの検出にとどまらず、民間の子ども安全組織による事案調査の支援まで踏み込んだ対応だ。


OpenAI自身も、これらのツールの実効性は実運用環境でのパフォーマンスと、審査済みの子ども安全組織がどこまで広く利用できるかにかかっていると認めている(OpenAI公式アナウンスより)。技術的な指標だけでなく、運用面での展開が今後の評価軸になる。

詳細はOpenAI introduces stricter ChatGPT interventions to prevent the misuse of AI for child exploitationを参照していただきたい。