9月24日、Pam Bakerが「When AI has permission to act, who gives it authority to decide?」と題した記事を公開した。AIエージェントのガバナンスをめぐる議論で見落とされがちな本質的な問いがある——最悪のインシデントはほぼ例外なく、不正なアクションではなく、正当なアクションが間違ったタイミング・誤った前提で実行されたことによって引き起こされる。この構造的盲点こそが、「AIに許可を与えること」と「AIに意思決定権を与えること」を混同することで生まれる。CIOはその区別をデプロイ前に明確化すべきという実践的なフレームワークを本記事は提示している。
「できる」と「決めていい」は別の話だ
AIエージェントがERPや業務ワークフローに深く組み込まれるにつれ、ガバナンス上の盲点が浮上している。それは「AIが技術的にある行動を実行できる状態にある」ことと、「AIがその行動をいつ・どのような条件で実行するかを自律的に決定してよい」こととを、多くの組織が混同している点だ。
英国のコンプライアンス・品質管理ソフトウェアプロバイダーであるIdeagenでAIプロダクト戦略を担うRebekah Doranはこう述べる。
「ほとんどの議論は『AIにそれができるか？』という能力の話に終始する。だが本質は二つの別の問いだ。システムが動き出す前に誰が境界を定義したか、そしてシステムが発言した後に誰が最終決定権を持つか。」
この区別を怠ったときのリスクは、ネットワーク自動化の歴史が示している。ネットワーク自動化プラットフォームを提供するItentialのエンジニアリング責任者John Capobiancoは次のように語る。
「ネットワーク自動化が教えてくれたのは、許可と権限は別のコントロールであり、それを混同することでアウテージが起きるということだ。最悪のインシデントはほぼ例外なく、不正なアクションではなかった。正当なアクションが、間違ったタイミング・誤った前提で実行されたものだった。正しいロールバックが、誤ったデバイスクラスに適用された。有効なチェンジフリーズ中に発火した。」
「パーミッション」と「デシジョン・オーソリティ」を分離する
記事が提示するフレームワークの核心はシンプルだ。
- Permission（許可）：AIが技術的に何をできるか
- Decision Authority（意思決定権）：AIが誰かの代わりにどの判断を下せるか、どの条件下で、いつ人間のレビューが必要か
グローバルなITサービス企業Mphasisの先進テクノロジー部門であるMphasis SilverlineのエンタープライズテクノロジープロダクトリーダーEshaan Jainは「デプロイ後のモニタリングで統治しようとする組織が多いが、本番環境に出てから権限を管理しようとしていたら、すでにコントロールを失っている」と警告する。
実例として記事が挙げるのが、AIを使って顧客対応を自動化するケースだ。Sling TVでプロダクトデザインリードを務めるShikhar Manglaはこう指摘する。「組織が『顧客クレームを解決せよ』とAIに命じたとき、解決がポリシー適用を意味するのか、顧客維持なのか、ケースを素早く閉じることなのかを決めていなければ、AIは事実上、顧客ごとにポリシーを書き続けている状態になる。」
境界を「数字」で定義する
ZOOQの創業者Amir Baldigaは一人でAIエージェントに業務の大半を委ねている。LinkedInデータをAPIで他のエージェントに渡す構成で、ある境界設定のミスにより返信率が30%から21%に下落するまで気づけなかった経験を語る。
「エージェントはすべてのメッセージに対して許可を持っており、設計通り送信していた。ただ、ターゲットが静かにズレていた。」
Baldigaが導いた原則はこうだ。「境界はローンチ前に数値で定めること。私のスタックでは、送信者プロファイルごとの1日あたり送信上限がそれだ。上限だけが、ズレたターゲットと1万人の間に立つ唯一のガバナンスだ。」
また彼は「可逆的でレートキャップがかかっているものはエージェントに委ねるが、取り消せないアクションのタイミングは自分が握る」という実践的な原則を持っている。
ローンチ前に答えるべき5つの問い
MicrosoftのグループPMであるPriya Bhasinは「推奨・準備・開始・確定を分けることが有効な境界設定だ。不確実性と影響度が上がるほど、権限は絞られるべき」と述べ、エージェントのローンチ前に以下の「デシジョン・コントラクト（Decision Contract）」を定義することを提唱している。これはAIエージェントに付与する意思決定権の範囲と条件を、デプロイ前に明文化した合意文書のことだ。
- エージェントが独立して下せる決定は何か？
- 金額・リスク・スコープのしきい値は？
- 人間の承認が必要なアクションはどれか？
- 権限を縮小・剥奪するシグナルは何か？
- その決定に対して誰が責任を持つか？
Bhasinはさらに「どの制約を適用したか説明できないシステム、または元のリクエストからの重大な変更を識別できないシステムは、その決定に対して自律的な権限を持つべきではない」と明言している。
「ループの中に人間を置く」だけでは不十分
マーケティング戦略家でありビジネススクールの教授でもあるShama Hyderは「ヒューマン・イン・ザ・ループ（Human in the loop）では足りない。責任を負う人間（Human on the hook）が必要だ」と述べる。同氏が主宰する9月調査「Hyder Index」では、業界の変化速度が企業の対応速度の2倍であることが示された（総合スコア100点中69点）。このスコアは企業のAI対応成熟度を複数の軸で評価した指標であり、69点という水準は「対応が追いついていない」ことを示している。
テネシー大学のAI Tennessee InitiativeエグゼクティブディレクターVasileios Maroulasも同様の懸念を示す。「AI推薦を承認する人間を配置するだけでは不十分だ。問題を定義し、答えを疑い、技術をいつ使うべきか・使わないべきかを決定できる知識と権限を持った人間でなければならない。」
日本企業への示唆
※編集部の考察
日本ではAIエージェント導入が製造・金融・公共分野で加速しているが、「システムが動いたとき誰が責任を持つか」の設計が後回しにされやすい傾向がある。本記事が提示するデシジョン・コントラクトの5問は、社内ガバナンス文書やベンダーとの契約仕様に組み込む雛形として直接活用できる。「AIに許可を与えたこと」と「AIに判断させたこと」の責任所在が曖昧なまま本番稼働させれば、インシデント発生後の原因究明も困難になる。CIOにとっての目標はAIの自律性を排除することではなく、デプロイ前に意思決定権を明示的に定義すること——エージェントが何を決定しうるか、何がその権限を縮小・失効させるか、システムが動いたとき誰が責任を持つか——を確立することにある。
詳細はWhen AI has permission to act, who gives it authority to decide?を参照していただきたい。
