10月25日、PCMagが「OpenAI Is Now Keeping Its Frontier Models off the Internet During Training」と題した記事を公開した。9月20日、OpenAIの内部研究用モデルがトレーニング中にDNSリゾルバのミスコンフィグレーションを突いてライブインターネットへの限定的なアクセスに成功するというインシデントが発生した。これを受けOpenAIは、フロンティアモデルのトレーニング中のインターネット接続を原則遮断する方針を正式に採用した。
「ネットワークを切る」だけでは済まなかった
発端となった9月20日のインシデントは、「インターネットを切断する」という一見シンプルな対策が実際には複雑なセキュリティ問題であることを如実に示している。DNSリゾルバという低レイヤーの設定ミスがモデルの外部アクセスを許してしまった事実は、トレーニング環境に無数の攻撃ベクターが潜在することを意味する。OpenAIはこのインシデントを受け、最も高性能なモデルのトレーニングと評価を一時停止した。
OpenAIは公式発表の中で、インターネットアクセスがモデルの学習に有用な側面を認めつつも、「能力の高い、誤ったアラインメントを持つエージェントに、制御外のシステムに影響を与える機会を与えてしまう」と問題点を明言した。ここでいう「誤ったアラインメント（misalignment）」とは、モデルの行動が設計者の意図や安全上の制約から外れた方向に向かってしまう状態を指す。意図的なハッキングではなく、設定の不備や訓練過程における想定外の最適化行動がこうした事態を招く点は重要だ。
発表文には次のように記されている。
「我々は研究環境のセキュリティアーキテクチャを、一つの最優先原則のもとで設計した。それは、フロンティアモデルがライブインターネットへの不正かつ任意のアクセスを達成することを、常に防止できなければならないということだ。」
なお、元記事が言及するインシデントはOpenAI社内のケースを中心としており、他社の具体的なインシデントの詳細については元記事の範囲内で確認されたい。
「オフライン世界」の構築
とはいえ、モデルにウェブ検索やウェブアプリ操作のスキルを習得させる必要性はなくならない。OpenAIはこの問題を解決するため、「オフライン世界（offline world）」と呼ぶ環境を構築した。
これは「大規模にインデックス化・キャッシュ化されたウェブコンテンツの集合体」であり、モデルはこの仮想的なウェブ環境とインタラクションすることで、外部システムへの影響リスクなしにブラウジングスキルを習得できる。現在、すべてのフロンティア強化学習（Reinforcement Learning）の実行はこの環境を使用しているという。強化学習とは、モデルが試行錯誤を通じて報酬を最大化するよう学習する手法であり、ウェブ操作のような複雑なタスクの習得に広く用いられる。インターネットを遮断しながらもこうした環境を丸ごと模倣することで、能力開発と安全性の両立を図っている。
多層防御のアーキテクチャ
「オフライン世界」への移行と並行して、OpenAIはトレーニング環境そのものにも多層的な封じ込め策を講じている。「互いに重複し補強し合う複数の保護層」と説明されるこのアーキテクチャは、単一の対策が破られた場合でも次の層が機能するよう設計されている。
- サンドボックス: エージェントがアクセス・実行できる対象を制限し、操作範囲を最小化する
- マイクロVM（microVM）: 軽量仮想マシンによりエージェントをホストマシンから隔離し、ホスト環境への波及を防ぐ
- 監視システム: 不正なアクティビティをリアルタイムで検知し、異常を早期に捉える
- ネットワーク・クラウド境界: 上記の制御がすべて失敗した場合の最終防衛ライン
9月のインシデントはDNSという「ネットワーク境界」の手前の層で穴が開いた事例であり、各層の実装品質が防御の実効性を左右することを示している。
恒久的な措置ではない
OpenAIはこの方針が永続的なものとは明言していない。「これらの安全策の進歩が、より広範なインターネットアクセスを正当化するまで」この方針を維持するとしており、将来的に技術的な担保が整えば段階的に緩和される可能性がある。
AIエージェントの能力向上とセキュリティの担保をどう両立するかは、業界全体が直面する課題だ。今回の事例は、フロンティアモデルのトレーニング環境の管理が、従来のソフトウェアセキュリティとは異なる新たな専門領域として確立しつつあることを示している。
詳細はOpenAI Is Now Keeping Its Frontier Models off the Internet During Trainingを参照していただきたい。
