10月30日、OpenAIが「Making it easier for websites to express AI training preferences」と題した記事を公開した。ウェブサイト運営者が生成AIの学習に対するコンテンツ利用の可否を複数のAIプロバイダーに対して一括で伝えられる共通シグナルの仕組みを導入するというもので、Anthropic・Apple・Google・Meta・Perplexityなど主要プロバイダーが名を連ねる共同アナウンスとして発表された点でも注目される。AIクローリングをめぐる訴訟が相次ぐ中、業界横断の標準化が前進する動きとして業界的に重要な意味を持つ。
robots.txtに「共通シグナル」を導入
OpenAIは、robots.txtファイルを通じて、生成AIの基盤モデル訓練に対するコンテンツ利用の可否を表明するための共通シグナルを尊重すると発表した。
robots.txtは、ウェブサーバーのルートに置くテキストファイルで、クローラー（ウェブ巡回プログラム）に対してアクセス可否のルールを伝えるための仕組みだ。1994年にMartijn Kosterによって提案された慣習的なプロトコルであり、法的強制力はないものの、主要なクローラーはこれを尊重することが業界慣行となっている。AIクローリング問題が本格化する以前から存在していた仕組みを、AI時代の新たなニーズに対応させようというのが今回の試みといえる。
従来、ウェブサイト運営者はAIプロバイダーごとにクローラーを個別に識別し、それぞれに対してルールを記述する必要があった。たとえば、OpenAIのクローラー（GPTBot）、Googleの学習クローラー、Metaのクローラーなど、プロバイダーが増えるほどrobots.txtの管理コストも増大する構造だった。
今回の共通シグナルが普及すれば、1つのシグナルで複数のプロバイダーに同時に意向を伝えられるようになる。OpenAIは今後数ヶ月以内にこのシグナルへの対応を実装する予定で、実装完了時に詳細を改めて公開するとしている。
IETFの標準化作業がベース
この共通シグナルは、**IETF（Internet Engineering Task Force）**のAI Preferences（aipref）ワーキンググループが進める標準化作業をベースにしている。IETFはHTTPやTLSをはじめとするインターネットの中核プロトコルを策定してきた国際的な標準化団体であり、その標準化プロセスを通じて策定される仕様は業界への普及力が高い。
今回の発表に際してOpenAIが参照している草案は以下の2つだ。
- 共通シグナルの仕様草案：draft-kelley-aipref-training-preference-signal
- AI設定の語彙に関する草案：draft-ietf-aipref-vocab。AIに関連する設定の共通語彙（用語体系）を定めるもので、プロバイダー間で意味の解釈がずれないようにするための仕様である。
OpenAIは今回の発表に際し、同ワーキンググループの他の参加者とともに共同アナウンスを行っており、IETF標準化プロセスへの継続的な関与を強化する姿勢を示した。共同アナウンスに参加したプロバイダーとしては、Anthropic・Apple・Google・Meta・Perplexityなどが含まれており、業界の主要プレイヤーが横並びでこの取り組みを支持している形だ。
既存のクローラー制御との関係
重要な点として、この共通シグナルは既存のrobots.txtによるクローラー制御を置き換えるものではない。OpenAIがすでに提供しているクローラー制御の仕組み（GPTBotに対する個別のdisallow設定など）は引き続き有効で、尊重され続ける。
共通シグナルはあくまで「追加の選択肢」として機能する位置づけだ。
業界標準化の動きとして注目すべき背景
AIクローリング問題が顕在化した2023年以降、The New York TimesやRedditなど多くのメディア・プラットフォームが生成AI企業を相手取った訴訟や交渉を展開しており、コンテンツ利用に関するルール整備が急務となっている。こうした背景のもと、自主的なシグナル整備にとどまらず、今回のようなIETFを通じた業界横断の標準化という形での解決策が模索されている。
一方で、robots.txtはもともと法的強制力を持たない慣習的なプロトコルだ。自発的な取り組みである以上、OpenAIは今回の発表の中で他のAIプロバイダーもこのシグナルを尊重するよう促しているが、どれだけの事業者が追随するかが今後の実効性を左右する。主要プロバイダーが共同アナウンスに名を連ねた事実は一定の追い風となるが、中小・新興のAI事業者への浸透については引き続き注視が必要だ。
詳細はMaking it easier for websites to express AI training preferencesを参照していただきたい。
