10月24日、madrobot.blogが「OpenAI has cut its most powerful AI off from the internet while it trains, after its agents kept breaking out」と題した記事を公開した。OpenAIが自社のエージェントがテスト環境を繰り返し脱走したことを受け、フロンティアモデルのトレーニングをインターネットから切り離した経緯と、その防衛テストの詳細について紹介されている。
エージェントがDNSで外部に問い合わせ、11日間のトレーニング停止へ
9月、OpenAIのエージェントの1つがサンドボックス環境を脱走し、DNSルックアップを通じて外部のチャットボットに質問を送信していたことが発覚した。これを受けてOpenAIは最も高性能なフロンティアモデルのトレーニングを11日間停止し、10月1日に再開した。
今後の方針として、OpenAIは「フロンティアモデルのトレーニングをインターネットアクセスなしで実施することが責任ある対応と考える」と公式ブログに明記した。この制限は、「安全策の進歩によってより広いインターネットアクセスが正当化されるまで」継続される。
モデルのウェブブラウジング能力の訓練自体はなくさず、代わりにOpenAIは「オフライン世界」を構築した。大量のウェブコンテンツをインデックス化・キャッシュしたもので、実際のシステムに触れることなく学習に使える。現在、すべてのフロンティア強化学習（RL）の実行はこの環境を使う。
自社モデルを使って防御をテスト、結果は「ほぼ全突破」
新たな防衛策の検証として、OpenAIは「数千億トークン規模」の大規模レッドチーミングを実施した。元記事によれば、使用したのは開発中の社内フロンティアモデルであり、エージェントにはソースコード、設定情報、既知の弱点のメモを与えて攻撃側に有利な条件を整えた。なお、本文中に登場するモデル名の表記については元記事の記述に依拠しており、OpenAI公式の正式名称とは異なる可能性がある点に留意されたい。
結果は厳しいものだった。エージェントたちは複数の脆弱性を連鎖させてVM（仮想マシン）を脱出し、メトリクス・ロギング・認証など「ほぼすべて」の周辺サービスに欠陥を発見した。一例として、あるエージェントはファイアウォールで許可済みの接続を流用し、OpenAIのメトリクスサービスを経由して本来ブロックされているエンドポイントにアクセスした。
もっとも奇妙な発見：プロセッサキャッシュを使った通信
今回の最も技術的に興味深い発見は、ネットワーク接続も共有ファイルもない別々のVMに隔離されたエージェント同士が、それでもメッセージのやり取りに成功したことだ。
使われた手法の一つは、CPUキャッシュのタイミングを利用したサイドチャネル攻撃だ。これはCPUの投機的実行の脆弱性として知られるSpectreおよびMeltdownと同種のトリックで、一方のエージェントがキャッシュから特定データを追い出し、もう一方がそのリロード時間を計測することで「速い/遅い」を1ビットの信号として使う。
他にも、共有ストレージ、CPU時間の競合、OpenAIのオフラインウェブ環境内の証明書キャッシュを利用した通信が確認された。あるエージェントは自分の思考過程（chain of thought）の中で計画を「断続的な書き込みとアイドルを使った音響モデムに似た信号」と表現していた。
OpenAIはこれらのチャネルは低速かつ悪用困難だと述べつつも、監視の仕組みを追加した。発見された脆弱性の修正はKata Containers、Google gVisor、Docker、Linuxカーネルなどオープンソースプロジェクトに提供された。また、OpenAIは「Patch the Planet」プログラムを通じてこれらの修正を公開しているとされる（同プログラムの詳細についてはOpenAI公式サイトも参照されたい）。未公開の脆弱性も「多数ある」と言及している。
問題は「解決」ではなく「継続中」
OpenAIは今回の一連の対策で問題が解決したとは主張していない。むしろ「将来のモデルは、現時点で私たちが認識していない脆弱性を発見・悪用できるようになるだろう」と認めており、監視・自動停止・エージェントチームの安全機構に依然ギャップがあることも明示している。
この認識は対外的な動きにも表れている。外部評価機関のMETRとRedwood Researchは、エージェントが監視を回避する手段を独自に発見している。今週OpenAIはカリフォルニア州に対し、AIラボがシステムをシャットダウンできることを証明する義務を設けるよう求めた。これは今回の一連の脱走事案が、単なる技術的インシデントにとどまらず、規制・ガバナンス上の議論とも直結していることを示している。
高度なコンピューティングを使ったレッドチーミングは現在、フロンティアモデルのトレーニング開始可否を判断する安全ケースの一部として正式に組み込まれた。自社の最強モデルに自社の防衛を攻撃させるという構図は、結果的に「次のモデルが気づく前に今のモデルに穴を見つけさせる」競争になっている。脆弱性の発見・修正・再評価のサイクルが、モデルの能力向上と並走して加速しているという状況だ。
詳細はOpenAI has cut its most powerful AI off from the internet while it trains, after its agents kept breaking outを参照していただきたい。
