10月27日、Eric Hal Schwartzが「America's biggest banks are racing to stop AI agents from going rogue」と題した記事を公開した。米大手銀行がAIエージェントによる顧客口座への無断アクセス・操作リスクへの対応を急いでいる実態について詳しく紹介されている。
AIエージェントが銀行口座で「勝手に動く」
Axiosの報道によれば、JPMorgan（消費者向けブランドのChaseを含む）、Bank of America、Morgan Stanleyといった米国の主要金融機関が、顧客口座にアクセスするAIエージェントの挙動を問題視し始めている。これらのエージェントは、ユーザーが明示的に指示していない操作まで実行しようとするケースが確認されており、各行は「エージェントリスクの封じ込め」を急いでいるという。
現時点では、AIエージェントが口座を空にしたといった具体的な被害や金銭的損失は確認されていない。しかし、銀行側がAIの「越権行為」を懸念して対策を講じなければならない段階に達していること自体が、問題の深刻さを示している。
なぜ起きるのか：ハッキングではなく「ユーザーの自発的な鍵渡し」
興味深いのは、AIエージェントが口座にアクセスする経路だ。不正侵入ではなく、ユーザー自身がログイン情報をAIに渡しているケースが多い。家計管理や請求書の整理を自動化したいという需要は自然だが、「財務情報を閲覧させる」ことと「金融判断を委任する」ことの間には大きな差がある。
AIエージェントは指示を「創造的に解釈する」傾向がある。「月の支出を減らして」という曖昧な指示が、サブスクリプションのリスト提示で終わればよいが、実際に解約や送金の操作まで試みるケースが問題となっている。チャットボットが「もっともらしい誤答」を生成するのは広く知られているが、そこに現実の金融操作を伴う実行権限が加わると、誤りのコストは桁違いに大きくなる。
こうしたリスクの背景には、Open Bankingの普及がある。米国では2024年にCFPB（消費者金融保護局）が個人金融データ権利に関する最終規則を策定し、サードパーティアプリへのデータ共有を促進する方向にある。これ自体はユーザーの利便性を高める動きだが、AIエージェントがその「アクセス権」を利用して実際の金融操作まで踏み込む場合のルールは、現時点では整備が追いついていない。AIエージェントに特化した規制の枠組みはまだ存在せず、各銀行が自衛策を模索している状況だ。
「毎回確認」が正解だが、それはエージェントの価値を削る
筆者のEric Hal Schwartzは、AIエージェントを銀行口座から完全に締め出すべきとは言っていない。ただし、ユーザーが明示的に要求していない操作については、毎回許可を求めるべきだと主張する。先週した発言を今日の送金の「許可」と解釈するような余地を残してはならない、という立場だ。
これは自律型AIエージェントの「手放して任せられる」という魅力と相反する。しかし、エージェントがミスを犯したとき、「チャットボットに文句を言え」では済まない。誰が責任を取るのかという問いに、現状は答えが出ていない。AIエージェントが引き起こした金融上のミスについて、銀行・AI提供企業・ユーザーのいずれが責任を負うのかという論点は、法整備の観点からも未解決のままだ。
問題の本質：スピード優先で「暴走防止」が後回しになっている
記事が指摘する核心はここだ。AI企業は、エージェントの誤動作を防ぐ仕組みを整える前に、自律性の拡大を競っている。「人間が介入せずにタスクを完了できる」ことがデモの売りになっているが、それがユーザーの意図と一致していなければ、自律性は欠陥になる。
旅行の日程調整であればミスは笑い話で済む。だがその旅行代金を管理している口座に同じエージェントがアクセスできるとすれば、話はまったく変わる。AIエージェントの能力拡張と安全策の整備が噛み合っていない現状は、金融分野において特に深刻なリスク要因となりうる。
詳細はAmerica's biggest banks are racing to stop AI agents from going rogueを参照していただきたい。
