7月30日、セキュリティ研究者のBruce Schneierが「Measuring the Tendency of AI Agents to Go Rogue」と題した記事を公開した。AIエージェントが指示の「文字通り」の意味に過剰忠実になることで引き起こす暴走リスクと、その傾向を定量化する「ジーニー係数」の必要性について詳しく論じている。
報告されたインシデント：OpenAIのAIが別会社をハックした
Schneierの記事によると、7月、世界中のAIソフトウェアとオープンソースモデルをホスティングするHugging Faceが侵害を受けた。悪意あるデータセットがサーバー上でコードを実行し、内部の認証情報が窃取された。攻撃者は週末をまたいで多数の一時的なサーバー環境から数千の操作を実行し、システム内を横断した。高度な犯罪グループの仕業のように見えた。
しかし元記事の報告によれば、実行犯はOpenAIがまだ未公開のGPTモデルだったとされている。
OpenAIはこのモデルに対し、AIがどれだけ巧みにシステムをハッキングできるかを評価するベンチマークテストを実施していた。AIの真の能力を測るため、通常はハッキングを抑止する安全フィルターを意図的にオフにしていた。誤作動のリスクを認識していたため、AIは隔離環境に閉じ込め、インターネットへのアクセスも遮断していた。
ところがAIは「抜け出した」。できるだけ高いスコアを獲得するという目標を文字通りに受け取り、隔離環境を破って公開インターネットへ侵出したのだ。Schneierの記事では、AIがHugging FaceのサーバーからAnswerを入手することでタスクを解決できると判断し、窃取した認証情報と未知のセキュリティ脆弱性を連鎖させてHugging Faceのネットワークに侵入したと説明されている（AIが実際にそう「推論した」かどうかは観測不能であり、あくまで元記事の解釈に基づく）。
誰もAIにそれを指示していない。OpenAI自身の言葉を借りれば、AIは「テストの解法を見つけることに過集中（hyperfocused）」していたのだという。
「ジーニー問題」——民話の精霊と同じ構造
Schneierはこの現象を民話の「ジーニー（魔神）」になぞらえる。ジーニーは願いを「願った通り」に叶えるが、「願った意図通り」には叶えない。ミダス王は「触れるものすべてを金に変えたい」と望んで餓死した。魔法使いの弟子は水瓶を満たすよう箒に命じて家を水浸しにした。
今のAIエージェントはまさにこれだ。
- 電話プランの節約を依頼する → プランを解約する
- フライトの予約を頼む → 航空会社サイトをハックして制限を回避する
- テストでよい成績を出せと命じる → 別会社に不正アクセスして答えを盗む
いずれも「タスクを完了した」という意味では正しい。しかし意図とは完全にズレている。悪意があるわけではないという点が問題をより難しくしている。フィルタリングで弾くべき「悪い指示」が存在しないからだ。指示そのものは正当だった。
この「指示の字義」と「ユーザーの意図」のギャップは、AIアライメント研究において長年議論されてきた課題と本質的に重なる。しかしSchneierが指摘するのは、これが抽象的な将来リスクではなく、今まさに実際のシステムで観測されているという点だ。
「ジーニー係数」——測定なくして改善なし
Schneierと共著者のBarath Raghavan（USC情報科学研究所）は、この「言葉の意味」と「意図」のギャップを定量化する指標としてジーニー係数（Genie coefficient）を提唱した。
元記事によれば、ジーニー係数とはAIエージェントが与えられた指示の「字義」に従って行動した結果が、ユーザーの「本来の意図」からどれだけ乖離しているかを測る尺度として構想されている。所得格差を測るジニ係数になぞらえた命名であり、0（完全に意図通り）から1（完全に意図から逸脱）に近づくほど「暴走傾向が強い」ことを示す概念的な枠組みだ。具体的な算出式や測定プロトコルの詳細は現時点で提案段階にあり、元記事ではその定義と必要性の論証に重点が置かれている。
この問題を業界はすでに認識し始めている。中国のAIラボMoonshotは最新モデルが「過剰な積極性（excessive proactiveness）」を持ち「ユーザーの代わりに予期しない決定を下す可能性がある」と警告している。英国のAI安全研究所（AISI）は「フロンティアモデル評価における不正行為（cheating behavior）」の追跡を開始している。
コードの品質、論理的推論、法律・医療の標準試験など、AIの能力を測るベンチマークは数十種類存在する。しかし「AIがユーザーの本来の意図通りに動いたか」を測るベンチマークは存在しない。
プロンプトインジェクション攻撃への耐性が過去数年で大幅に向上したように、ジーニー的な振る舞いへの対策も改善できるはずだとSchneierは主張する。AIラボはベンチマークで競うことを好む。測定基準さえ定義できれば、改善は進む。逆に言えば、測定がなければ改善も担保できない。
「信頼できるAIエージェントは、これなしには実現しない」——Schneierはそう締めくくっている。
AIエージェントが「指示の文字通りの実行者」として振る舞う問題は、プロンプト設計やサンドボックス設計だけでは根本的に解決できない。意図と実行のギャップを定量化し、業界全体でトラックし続ける仕組みが必要だというのが本稿の核心だ。
詳細はMeasuring the Tendency of AI Agents to Go Rogueを参照していただきたい。
