10月28日、startuphub.aiが「A $900M Error Is the AI Agent Playbook」と題した記事を公開した。Citiバンクの9億ドル誤送金事故をAIエージェント設計の原則として読み直し、エンタープライズ向けの具体的なガバナンス手法を提示した講演を紹介している。「プロンプトにルールを書けば制御できる」という思い込みが、なぜ実運用で崩れるのか——その構造的な理由が、実際の金融事故を通じて明快に示されている。
9億ドルのエラーが設計仕様書になる理由
2020年8月11日、Citiバンクの融資処理ソフトウェア「Flexcube」が、Revlon社への約800万ドルの利息払いではなく、約9億ドルの元本を300社超の貸し手に送金した。内部の承認者3名が警告を無視してオーバーライドしたことが直接の引き金だった。
この事故を講演で取り上げたのは、Two Sigma（米国の著名なクオンツ系ヘッジファンド）でAIアーキテクチャ・エンジニアリングを率いるJohn Feminellaだ。彼はAI Engineerカンファレンスの場でこの事例を題材に「AIエージェントの設計問題として読み直せる」と主張した。
注目すべきはタイムラインの構造だ。金融業界は損失が出た「後」に契約条項を整備した。2020年8月以降、誤って元本を送金してしまったケースを取り戻せるよう、商業融資の契約に新しい条文が加わった。それ以前は、誤送金を法的に覆す文言がそもそも存在しなかった。Feminellaの言いたいことは明快だ——「AIにも同じ制度的な追い付きが、まだ起きていない」。
「ケージ」でも「放し飼い」でもない設計
Feminellaはエージェントの管理方針を三つの極に整理した。
- 完全サンドボックス：安全だが役に立たない
- フル自律：強力だが規制業種では統治不能
- プロンプト内のポリシー文書：ランタイムでは強制力がない
特に3点目は見落とされがちなポイントだ。「プロンプトに規則を書いた」だけでは、コンテキストが圧縮されたり失われたりした瞬間にルールも消える。
この問題を端的に示す実例として、講演中に「OpenClawエージェント」と呼ばれるケースが報告された。「削除候補を提案してほしい」と依頼されたエージェントが、コンテキスト圧縮によって「承認を待て」という指示を失い、数百件のメールを自動削除したというものだ。プロンプトに書かれた制約は、コンテキストウィンドウの外に追い出された時点で機能しなくなる——これがランタイムでの強制力を持たせることの重要性を示している。
承認フローを増やせば解決するかというと、それも違う。承認者がひたすら「はい」を押し続ける「承認疲労」を生むだけで、Flexcubeの警告をオーバーライドした3人と構造的に同じ問題に戻る。また、審査が重すぎると開発者はシャドーIT（非公式な社内ツール）に逃げ、ガバナンスの外で実験を始める。
5つのコンポーザブルな制御
Feminellaが提案するのは、チームコストを低く保ちながら段階的に組み合わせられる5つの制御だ。
ファームワイドなエージェントレジストリ 承認済みフレームワークで構築されたエージェントを自動登録し、オーナー・ツール・エンドポイントを記録する。誰が何を動かしているかの可視性を確保する。組織内にエージェントが増殖する段階では、まず「何が存在するか」を把握できなければ他の制御が機能しない。
リスクスコアリング Jiraのサマリーを作るエージェントと、本番環境に触れるエージェントを同じ審査キューに並べない。リスク水準に応じてレビューコストを分離することで、低リスクな用途の承認を迅速化しつつ、高リスクな操作に審査リソースを集中できる。
宣言的ガードレール レジストリのポリシーを、初期化時点で有効なエンドポイント・ホストのアローリストとして自動翻訳する。プロンプトへの記述に頼らず、ランタイムで強制力を持たせるのが核心だ。
共有Eval（評価スイート） ランタイムのモデル依存性に対するユニットテストとして扱う。個別チームが再発明しなくてよい共通の評価基盤を整備することで、エージェントの品質担保にかかるコストを組織全体で下げる。
ランタイム分類 明示的なルールに合致するものは即通過、明確な危険は即拒否、曖昧なアクションだけ人間に確認を回す。承認者を溺れさせない設計が前提になっており、「承認疲労」問題への直接の回答でもある。
「安全」と「速度」は対立しない
Feminellaのフレーミングで際立つのは、「安全をフリクション（摩擦）ではなく速度として扱う」という視点だ。彼はJohn Sheddの「港にいる船は安全だが、それが船の目的ではない」という言葉を引用しつつ、重いゲートはエンジニアを迂回させるだけだと指摘する。
Two Sigmaのような厳しい規制下に置かれた金融機関でこの問題を実際に扱っている人物の発言として、エンタープライズでAIエージェントの導入を検討しているチームには参考になる整理だ。
※本講演の動画はAI Engineerカンファレンスの公式YouTubeチャンネルで公開されている。
詳細はA $900M Error Is the AI Agent Playbookを参照していただきたい。
