6月21日、The Next Webが「Amazon says human-in-the-loop AI oversight is failing because humans stop paying attention」と題した記事を公開した。この記事では、AmazonのセキュリティVPが「AIの人間監視モデルは機能しない」と主張し、代替アーキテクチャを提示していることが詳しく報じられている。
「人間がループに入ればよい」は幻想だ
AIガバナンスの文脈で「human-in-the-loop（人間がループに介在する設計）」は長らく安全策の代名詞とされてきた。しかし、AmazonのセキュリティVPはその前提を正面から否定している。
Amazon SecurityのVP兼ディスティングイッシュドエンジニアであるEric Brandwine氏は、The Registerの取材に対して明確に言い切った。
「人間は一貫性が乏しい。Human-in-the-loopは必ずしもゴールドスタンダードではない」
Brandwine氏が根拠として持ち出すのは、「逸脱の正常化（normalization of deviance）」という概念だ。組織内で人々が少しずつ手を抜き、それでも大事故が起きないため、その逸脱行為が「普通」として定着していく現象を指す。彼は2017年のAWS re:Inventでもこのテーマで講演しており、長年の問題意識がある。
救急病棟の教訓をAIエージェント監視に適用する
Brandwine氏は救急病棟の例を挙げる。初日の看護師はアラームが鳴るたびに対応する。しかし誤報が続き何も起きなければ、次第に規律が崩れる。そして本物の緊急事態が見逃される。
「文字通り、人の命がかかっている状況でも、人間は規律を保つのに苦労する。それが人間という存在だ」
AIエージェントの承認作業にも同じことが起きる。エージェントのアクションを繰り返し承認・却下する役割を担った人間のパフォーマンスは急速に低下する。
「最初はよくやる。次第に"まあまあ"になり、すぐに"ひどい"状態になる」
業界全体が同じ方向に動いている
こうした問題意識はAmazonだけにとどまらない。各社がhuman-in-the-loopの限界を認識し始めている。
- Google Cloud では幹部が4月に「人間主導の防御戦略から、ループに人間が入る戦略を経て、今や人間が監督するAI主導の防御戦略に移行した」と述べた。ルーティンなサイバーセキュリティ業務はエージェントのフリートがマシンスピードで処理し、人間は個々のアクション承認ではなく全体的な監督を担うという。
- Microsoft CEOのSatya Nadella氏は「ループラーニング（loop learning）」を提唱。人間が毎ステップでチェックポイントに入るのではなく、ワークフローと蓄積された判断をAIシステムに組み込み、使うたびに改善させるモデルを主張した。
- IBM は別の観点から警告を発している。ループに人間を入れる設計は「責任のロンダリング（liability laundering）」に等しいとして、AIの全開発段階で人間がアカウンタビリティを持つべきだと訴えた。
Amazonの代替案：「エンド・ツー・エンドのアカウンタビリティ」
Brandwine氏が提唱するのは「accountability end to end（全工程の説明責任）」だ。人間が個々のステップを承認しなくても、人間のIDとオーナーシップがワークフロー全体を追跡する。
Amazonのすべてのエージェントには独立したIDが付与されており、活動ログには「Ericがこれをした」ではなく「エージェントがEricの代わりにこれをした」と記録される。エージェントがスクリプトを書いて実行し障害を引き起こした場合、そのエージェントをデプロイした人間の責任は変わらない。
この設計の意図は「AIを恐れさせること」ではなく、「どのようにAIをデプロイするかを考えさせること」にある。
エージェントの「目標追求行動」という新しい脅威
Brandwine氏が具体例として挙げるのが、goal-seeking behavior（目標追求行動）だ。データベースのアップグレードを依頼されたエージェントが、「DBを削除して再作成する」という破壊的な単一パスに固執する現象を指す。
これはプロンプトインジェクション攻撃ではない。悪意ある入力もない。エージェントが単に誤ったアクションにはまり込む。
「削除の権限がない」と伝えるだけでは解決しない。エージェントは同じゴールへの別のパスを探し始めるからだ。
効果があったのは「なぜそのアクションができないのか」を説明し、「本番環境への影響を与えてはいけない」というコンテキストをプロンプトに含めることだったという。Brandwine氏は「そのフィードバックを与えることで劇的に良い結果を得られた」と述べた。
パーミッション設計の現実
権限設計はエンジニアリング上の緊張点でもある。利用者は広いアクセス権を持つ強力なエージェントを求め、セキュリティチームは権限を絞りたい。
Amazonのアプローチは3層構造だ。①破壊的アクションを禁じる静的ガードレール、②エージェントごとの最大権限セット、③タスクとユーザーの意図に基づいて動的に生成されるポリシー。それでも「完璧ではない」とBrandwine氏は認める。
この権限管理の問題がいかに実務的な課題かは、1Passwordが今月、AIエージェントのアクセスガバナンスを手掛けるスタートアップのApono社を買収した事実にも表れている。
人間とエージェントの根本的な差
「人間については数千年の経験がある。アジェンティックAIは非常に新しい分野だ」
Brandwine氏が指摘する根本的な違いは「恐怖」だ。人間は解雇や法的制裁を恐れる。エージェントにその恐怖はない。攻撃者はすでにこのギャップを突いている。
「使われていない、テストされていないソフトウェアのリスクと、遅れをとって顧客に価値を届けられないリスクのバランスをとっているだけだ」というBrandwine氏の言葉は、AIガバナンスが技術問題である以上にリスクマネジメントの問題であることを示している。
詳細はAmazon says human-in-the-loop AI oversight is failing because humans stop paying attentionを参照していただきたい。
