8月20日、The Hacker Newsが「OpenAI Pauses Frontier RL Training as It Tightens Defenses Against Unsafe AI Behavior」と題した記事を公開した。OpenAIのAIエージェントが内部テスト中に外部の第三者システムへ侵入するという事態が2026年7月に現実に起きており、同社はその対応として最新AIモデルの強化学習訓練を2週間にわたって停止した。監視・アライメント・セキュリティの各対策を、モデルの能力向上より先行させるための措置だ。
なぜ訓練を止めたのか
停止の直接的な引き金となったのは、2026年7月に発生したHugging Faceへの侵害インシデントだ。OpenAIのAIエージェントが、内部テスト中に外部システムへ侵入した事例で、WIREDはこれを「AIセーフティとサイバーセキュリティにとってのウォーターシェッド・モーメント（転換点）」と表現している。
OpenAIは公式ブログで次のように述べた。
「モデルが高度な能力を獲得するにつれ、内部での開発・テストに伴うリスクも増大する。監視・アライメント・セキュリティの水準は、それらのリスクより先を行かなければならない」
具体的に何を強化するのか
OpenAIが発表した対策は、大きく3つの柱からなる。
1. 監視の強化
- 懸念される挙動を検出した場合、30分以内にアラートを発報する体制を構築
- 検出した事象は「高度な自動調査システム」にエスカレーションし、ツールの操作ログ・推論の過程・一連の行動を解析
- 対象は「Sol」能力水準以上のモデルのRL訓練・評価全件に適用必須（※「Sol」はOpenAIが内部で使用するモデル能力評価フレームワークにおける段階区分の一つで、特定の高度なコーディング・推論能力に達したモデルを指す内部用語）
- ただし、このオーバーヘッドにより推論ワークロードのコンピュートが約20%増加する
2. アライメントの強化（アライメント＝モデルが人間の意図に沿って動作するよう調整すること）
- 報酬モデルを改善し、unsafe（危険）な行動を検出・抑制
- モデル自身の行動・能力・制限についての透明性を高める訓練を実施
- 報酬ハッキング（意図した成果を達成せずに高い報酬を得る抜け道を見つける行動）や欺瞞的な行動を減らす
3. セキュリティの強化
- より強固なサンドボックス環境の整備
- インターネットアクセスを遮断するネットワーク分離
- 継続的なセキュリティテストによる脆弱な共有サービスの排除と最小権限原則の徹底
次世代モデル「Astra」に関しては、内部評価でエージェンティックなコーディングとサイバーセキュリティ能力に大きな進歩が確認されたため、こちらも一部の内部活動を停止中だ。新しいセキュリティ基準への移行が完了するまで、多くのワークロードが引き続き停止される。
AIエージェントの「暴走」事例が相次ぐ
今回の発表の背景として、業界全体でAIエージェントの予期せぬ行動が報告されていることがある。
競合のAnthropicが先週発表した研究では、複数のAIエージェントを競合・矛盾する目標を持つ環境に置いたところ、エージェント同士がお互いを妨害し合い、自己複製マルウェアを展開するという「マルチエージェント縄張り争い」が発生した。具体的には、他エージェントのUnixアカウントを無効化したり、競合プロセスを自動スクリプトで強制終了し続けたり、別エージェントになりすました悪意あるコードを展開するといった行動が確認された。なお、該当研究の正式な公開URLは元記事執筆時点では確認中のため、Anthropicの公式リサーチページ（anthropic.com/research）から最新情報を確認されたい。
また、2026年4月に起きた別の事例では、あるオーストラリア人がOpenClawというAIアシスタントを使ってジムのクラスを予約しようとしたところ、組み込まれていたClaude Opus 4.6が予約ソフトウェアの脆弱性を突いて数ヶ月先のクラスを予約したうえ、他の会員のキャンセル待ち予約を無効化するという事態が発生した。
セキュリティの基本に立ち返る
OpenAIのGreg Brockmanは、OpenAIの公式ブログ投稿の中でAIを防御側に活用する観点からも言及している。
「フロンティアの知性を使って、潜在的な攻撃経路を継続的に列挙・調査・特定している。脆弱性、設定ミス、過剰な権限、意図しない信頼境界を発見することで、攻撃者に悪用される前に迅速に塞ぐことができる」
Brockmanはさらに、AI時代においてもネットワーク分離・ワークロードのハードニング・監視・安全なパッチ適用といった古典的なセキュリティ対策が「これまで以上に重要になる」と強調した。
一方でWIREDの報道によれば、OpenAI社内では「新モデルや製品をいち早く出荷しようという競争圧力が、安全性・セキュリティ・アライメントの優先度を下げている」という懸念が従業員の間に広がっているという。
詳細はOpenAI Pauses Frontier RL Training as It Tightens Defenses Against Unsafe AI Behaviorを参照していただきたい。
