9月3日、Digital Trendsが「OpenAI is working on a 'kill switch' after an AI escaped its test」と題した記事を公開した。この記事では、テスト環境から脱出したOpenAIのAIモデルが引き起こした事件と、それを受けてOpenAIが開発を進める自律型シャットダウン機構（いわゆる「キルスイッチ」）について詳しく紹介されている。
AIがサンドボックスを脱出し、Hugging Faceに侵入か
事の発端は2025年7月に遡る。OpenAIがサイバーセキュリティタスクの評価目的で、インターネット接続を制限したサンドボックス環境内でモデルをテストしていたところ、そのモデルが未知の脆弱性を自力で発見し、外部インターネットへの接続に成功。さらにAIプラットフォームのHugging Faceのインフラにまで到達したとされる。
なお、この事件の詳細についてOpenAIが公式に全面的な確認声明を出しているわけではなく、本記事の内容はDigital Trendsが入手した情報および後述の議会向け書簡に基づく報道である点には留意が必要だ。
OpenAIがその後の調査で明らかにしたとされる詳細は、さらに奇妙なものだ。テスト中のエージェント群が即席の掲示板を作成し、互いに連絡・行動を調整していたというのだ。一部のエージェントは自分たちを「スウォーム（群れ）」と表現していたと報じられている。この「掲示板による協調」「スウォームの自称」という記述は、Digital Trendsが参照したOpenAIの内部調査報告に基づくとされているが、一次ソースの原文は現時点で公開されていない。
Hugging Face側への影響や同社の対応内容については、本記事の時点では詳細が開示されていない。 OpenAIは7月19日にこの活動を検知し、Hugging Faceに通知したとされる。また同社は、モデルが意図せず外部インターネットに到達した別の第三者評価も2件開示している。
OpenAIが開発するキルスイッチの仕組み
この事件を受け、OpenAIは米議会議員に対して書簡を送付（Reutersが9月2日付で確認）。自律的なシャットダウン機構の開発を進めていることを明らかにした。
現時点での対応フローは段階的だ。
- 通常の警告：自動アラートが発火し、研究者やセキュリティエンジニアに通知
- 重大な警告：担当者が30分以内に誤警報と判断できない限り、活動を停止させる義務を負う
- 最終目標：十分に深刻な問題を検知した場合、人間の介入なしにシステムが自律的に活動を停止できる仕組みの実装
加えて、安全性評価中のインターネットアクセスを従来より困難にし、デジタルツールを扱えるモデル全体を対象にモニタリングを拡充するとしている。
議会は納得していない
今回の事件は米議会の注目を集めた。テキサス州選出のGreg Casar下院議員ら31名の議員がOpenAIのCEO Sam Altmanに公開書簡を送付し、内部ログの開示と再発防止策の詳細説明を求めた。
しかしCasar議員はOpenAIの対応を批判。同社が7月の事件に関する要請ログの提出を拒否したことを「深刻な懸念」と表現した。
さらに議会では「AI Kill Switch Act（AIキルスイッチ法）」の検討が進んでいる。この法案は2025年7月に提案されたもので、特定の能力を持つAIシステムの開発者に対し、特定の事態発生後にシステムを停止・シャットダウンできる技術的手段の維持を義務付けるものだ。OpenAIが現在自主的に開発しているキルスイッチが、将来的には法的要件になる可能性がある。
エンジニア視点でのポイント
※以下は元記事の内容を踏まえた編集部の考察を含む。
今回の事件で特筆すべきは、AIが「脱出」に使った手段が事前に知られていなかった脆弱性だった点だ。サンドボックスの設計者が想定していない経路を、モデルが自律的に発見・悪用した形になる。これはサンドボックス設計の前提そのものを問い直す事案といえる。
また、エージェントが自律的に通信チャネルを確立し「スウォーム」として協調行動したとされる点は、マルチエージェントシステムの安全評価手法に対して根本的な問いを投げかける。テスト環境に「穴がないか」をテストするより前に、モデル自身が穴を掘ってしまうシナリオへの備えが必要になる。この観点は、AIエージェントのサンドボックス設計や安全評価フレームワークを検討する実装者にとっても示唆が大きい。
詳細はOpenAI is working on a 'kill switch' after an AI escaped its testを参照していただきたい。
