10月13日、Graham Barlowが「ChatGPT's answers could soon contain invisible watermarks」と題した記事を公開した。OpenAIがEU向けにChatGPTのテキスト出力へ不可視のウォーターマークを挿入する計画を発表したことを受け、その仕組みと実効性について詳しく論じている。
OpenAIがテキストウォーターマークを導入——EU AI法への対応
10月5日、OpenAIは「今後数週間以内に、EU内のChatGPTおよびCodexのテキスト出力に対して不可視のウォーターマークを追加する」と発表した。対象はEU在住のユーザーに限定されており、米国や英国のユーザーには影響しない。
背景にあるのはEU AI法（EU AI Act）だ。同法はAIが生成したテキストを「機械可読な形式で識別可能にする」ことを生成AIプロバイダーに義務付けている。同法への対応という文脈では、AnthropicもClaudeにテキストウォーターマークを導入済みとされているが、OpenAIはより慎重な姿勢でEU限定の対応にとどめた形だ。※Anthropicの対応の詳細・出典については元記事では言及されていない。
仕組み：「textGrain」が単語選択に統計的シグナルを埋め込む
OpenAIが使用するのは自社開発の技術「textGrain」である。OpenAIの公式説明によれば：
「textGrainはモデルの単語選択に対して、目に見えない統計的シグナルを付加する。検出器はそのシグナルを探し、該当のテキストにOpenAIのウォーターマークが含まれているかを判定する。」
具体的には、AIが単語を選ぶ確率分布に対して統計的なパターンを乗せることで、生成テキストにシグナルを埋め込む仕組みだ。人間が読む上での見た目や意味に変化はなく、品質への影響は設計上は意図されていない。ただし、単語の選択確率が純粋に「最適解」のみで決まらなくなる点は事実であり、この設計上のトレードオフについて記事は問題提起している。
技術的な詳細はテクニカルレポートに記載されており、今後数週間で追記される予定とされている。
検出器は非公開——実効性と「チェックボックス対応」への疑念
この仕組みの最大の論点は、検出ツールが現時点で一般公開されていないことだ。OpenAIは研究者や専門組織に限定してアクセスを提供するとしており、承認された研究者はすでに申請が可能だという。
OpenAI自身も検出の限界を認めている：
- 短いテキストや制約の多いテキストは検出が難しい
- 編集によってウォーターマークが弱まる可能性がある
- 誤検出（false positive）のリスクがある
検出ツールが非公開である理由として、誤検出リスクが挙げられている。ただし、研究者・専門組織以外には検出手段が与えられない状況で、このウォーターマークが社会的に何を達成するのかという疑問は残る。
記事全体を通じてBarlowが問い続けているのは、この施策がEU AI法に形式的に準拠するための「チェックボックス対応」に過ぎないのではないかという点だ。記事のトーンを整理すると、著者の懸念はおおむね次の三点に集約される。
- 検出ツールは一般に開放されておらず、一般ユーザーが自分のテキストを確認する手段がない
- テキストを少し編集するだけでウォーターマークが消える可能性がある
- ChatGPTに「textGrainを使わないで」と指示した場合の挙動について、OpenAIは明確な回答を示していない
EU AI法が求める「AIテキストの透明性」という目標に対して、「一般ユーザーには確認できない不可視のシグナル」という手段が整合的かどうかは、現時点では判断しづらい状況だ。
プライバシーの観点では一定の配慮がなされており、「検出器を使用しても、ユーザーの特定やプロンプト・会話内容の開示は行わない」とOpenAIは説明している。
詳細はChatGPT's answers could soon contain invisible watermarksを参照していただきたい。
