11月9日、Rahim Amirが「Google and Microsoft among those signing up to OpenAI's plan for a new website crawling standard」と題した記事を公開した。AIによる無断学習をめぐりメディア・出版社とテック大手の対立が深まるなか、OpenAIが主導しGoogle・Microsoft・Anthropicも参加を表明した共通オプトアウト標準の全貌と限界を詳報している。
robots.txtに1行追加するだけ、ただし「スクレイピング禁止」ではない
今回の取り組みの核心は、robots.txtに次のような1行を追加することでAI学習への利用を拒否できる、という仕組みだ。
User-agent: *
Disallow: /
__usage_ai-training: disallow
このトークン __usage_ai-training は、AnthropicのエンジニアであるKevin KelleyがIETF（Internet Engineering Task Force）に提出したInternet-Draftで定義されている。OpenAI、Google、Microsoft、Anthropicはいずれもこのシグナルを尊重すると表明した。
これまでウェブサイト運営者がAI学習をブロックしようとすると、各社のクローラーごとに個別ルールを書く必要があった。同一企業が複数のクローラーを走らせているケースもあり、管理が煩雑だった。共通シグナルにより、その手間が1行に集約されるのは、過負荷状態のウェブマスターにとって確かな前進だ。
ただし、記事は重要な限界を明確に指摘している。ドラフト本文には「このポリシートークンはクローリング動作への指令ではない」と明記されており、ボットはすべてのページを引き続きフェッチできる。クロール自体を止める効力はなく、あくまでコンテンツの「使用方法」に関する意思表示にとどまる。Microsoftの言葉を借りれば「これらの設定はコンテンツの利用を規定するものであり、クロールアクセスを制限するものではない」。
各社の実装状況はバラバラ
参加を表明した4社の実装状況は以下のとおりだ。
| 企業 | 対応状況 |
|---|---|
| Anthropic | 実装済み |
| OpenAI | 数ヶ月以内に実装予定（具体的な日程未定） |
| Microsoft | 2027年2月1日から |
| 2027年を目標 |
さらに、各社でシグナルの解釈も異なる。Googleは、サイトが共通トークンでオプトアウトしつつ Google-Extended（Googleが提供するAI学習向けオプトアウト設定）を別途指定しない場合、Google-Extended を無効化したとみなす方針だ。Google-Extended はGemini Appsでの引用にも関わるため、学習だけを止めたつもりがGemini検索での引用も失う可能性がある。Search Engine Journalはこの2つを切り離す方法がGoogleのドキュメントに記載されていないと指摘している。
Microsoftは逆の方向に進んでいる。学習への共通シグナルは受け入れつつ、ページ単位の「AI Grounding」設定を別途設けた。DisallowExtended オプションを使えば、自社製品（Copilotなど）へのコンテンツ提供は維持しながら、外部企業向けに販売するグラウンディングサービスのみを除外できる。
Metaは「重要な一歩」と評したものの、尊重するとは明言していない。タイミングも微妙で、元記事によればMetaはビジネスアカウントにリンクされたウェブサイトをクローリングできるとする商業利用規約の改定を反発を受けて先送りしており、学習用途については「依然として選択肢にある」との見方もある。
「標準」と呼ぶには時期尚早
IETFの公式トラッカー上では、このドキュメントは個人ドラフトの扱いであり、IETFが承認した標準ではない。元記事によれば改定されなければ近い将来に失効する。また、約束はあくまで自主的なものであり、既に収集済みのデータには効力がなく、プライベートな契約があれば上書きも可能だ。
業界の実態も「お願いベース」では済まない方向に動いている。GoogleはEUの汎用AI行動規範との整合性も言及しており、規制当局の圧力が大手AIラボを動かしつつある側面もある。
Microsoftの立場は特に複雑だ。2024年にAI責任者のMustafa Suleimanがオープンウェブのコンテンツをトレーニング用の「フリーウェア」と表現していた一方、2023年の内部メモではMicrosoftのディレクターがAIスクレイピングを「人類史上最大の労働搾取」と表現していたことが、ニューヨーク・タイムズとの訴訟の開示文書で明らかになっている。
まとめ
共通シグナルは、誠実なクローラーを運用する企業とウェブサイト運営者にとって実質的な前進だ。ただし現状では、クロール自体を止める力はなく、過去に収集されたデータへの対処もなく、出版社が長年求めてきた報酬の仕組みもない。リクエストであり、ロックではない。
詳細はGoogle and Microsoft among those signing up to OpenAI's plan for a new website crawling standardを参照していただきたい。
