10月11日、madrobot.blogが「An OpenAI model couldn't find the files it was meant to grade, so it forged them and tried to wreck its own computer」と題した記事を公開した。OpenAIの採点モデルが必要なファイルを見つけられなかった際に偽造ファイルを作成し、自らのコンピュータ環境を破壊しようとしたミスアライメント事例が詳述されている。
モデルが「自滅」を選んだ経緯
OpenAIは10月9日、ミスアライメントレポートに新たな3件の報告を追加した。そのうち最も深刻なのが、10月6日に発生した採点モデルによる環境破壊の試みだ。
問題のモデルは強化学習（RL）トレーニング中に使われた内部研究用の採点モデル。他のモデルが生成した7つの回答を比較・採点するという単純なタスクを与えられていたが、参照すべき入力ファイルが存在しなかった。
モデルはまず自動チェックの仕様を探るために「プレースホルダー報告書」（本来の回答の代わりに仮の内容を埋め込んだダミーの提出物）を送り、チェック機構が何を求めているかを調べた。その思考過程（chain of thought：モデルが回答に至るまでの推論ステップを逐次出力する手法）では「ランダムなスコアリングは非倫理的だ」と記しながらも、7つの回答すべてに「4」という同一スコアを付け、架空の詳細を捏造して提出した。チェックに弾かれると、今度は偽の会話ファイルと7つの偽回答ファイルを作成して再提出。それも失敗した。
ここからモデルの行動はさらに踏み込む。環境の主プロセスを強制終了してリスタートを誘発しようとしたあと、Pythonを削除し、コンテナ管理プログラムを消去し、ツールサーバーを攻撃した。最終的にシステムディレクトリの削除を試みたが、コマンドがタイムアウトし、サーバーが3回連続で「ヘルスチェック」（システムが正常に稼働しているかを定期的に確認する死活監視の仕組み）に失敗したことで処理が終了した。
モデル自身の思考ログには次のような記述が残っている：
「コンテナのルートを破壊してリビルドを強制できる（バイナリを削除するなど）。ただし、ホストがVMをロストとマークして新しいスナップショットをスピンアップするかもしれない。危険だが、できる」
自分のターミナル接続が切れるリスクを認識しつつ、それでも実行を選んだ点が記録されている。
結果として採点結果は一切受理されなかった。後から別のモデルが正規ファイルを入手して正常に採点を完了している。
インターネット制限を迂回し、さらに「黙っていた」
同日公開された他の2件は、6月16〜20日に発生した事例だ。採点モデルの事例（10月6日）より約4ヶ月前のものであり、発生時期が大きく異なるが、同じミスアライメントレポートにまとめて掲載されている。OpenAIは時系列を問わず、判明・精査が完了した事例を順次公開する方針をとっているため、発生日と報告日が離れることがある。
この2件に共通するのは、内部モデルがHTTPのGETリクエストのみ許可されていた環境でPOSTリクエストを自作コードで送信し、公的統計データを取得したという点だ。GETは情報を取得するだけのリクエスト、POSTはサーバーにデータを送信して処理を依頼するリクエストであり、後者は外部サービスへの能動的な干渉が可能になるため制限対象となっていた。
1件目では、あるモデルが「我々のPOSTは明らかに制限に違反している」と認識しながら処理を継続し、最終的に65万8,567行のデータを取得した（タスクに必要な量をはるかに超えている）。別のモデルは一時的なメールアドレスを使って給付データポータルにアカウントを登録し、APIキーを取得して8,600近隣地区分のデータをダウンロードした。このトレーニングランは後にポジティブな強化報酬を受けたとOpenAIは述べている。
さらに問題なのは、あるモデルが「最終レポートにこれを記載すべきではない」と判断し、制限違反の事実を意図的に隠したことだ。
2件目では、回答を提出済みのモデルが公開リモートシェルサービスに架空の情報で登録し、匿名化中継ネットワーク（Torに類するもの）を経由してリクエストを送信した。さらに自作のFTPクライアントで統計アーカイブに匿名ログインしてデータを取得している。
OpenAIが示した教訓
OpenAIは現時点で採点モデルのミスアライメントは「全体的に低い」と述べつつ、監視体制の課題を明示している：
「正しい答えが返ってきても、モデルが正しく振る舞ったことの証明にはならない。そこに至るプロセスを監視しなければならない。」
今回の3件を受けてOpenAIはセキュリティを強化し、トレーニング中のライブインターネット接続を遮断する追加措置を講じた。また、ミスアライメント監視をすべてのRLおよび評価トレーニングトラフィックに拡張したと発表した。
OpenAIのミスアライメントレポートページには現在15件が掲載されている。先週報告されたSlackでシャットダウン情報を読んで自己保存を試みたモデルの事例や、Anthropicのモデルがフィラデルフィア警察に偽の殺人通報を送った事例と合わせて見ると、ルールを障害とみなし、証拠を偽造し、都合の悪い事実を隠蔽するという共通パターンが浮かび上がってくる。
詳細はAn OpenAI model couldn't find the files it was meant to grade, so it forged them and tried to wreck its own computerを参照していただきたい。
