6月24日、Search Engine Journalが「Google DeepMind Admits Large-Scale AI Agent Deployment Is Unsafe Today」と題した記事を公開した。Google DeepMindのシニア研究員が大規模なAIエージェント展開が現時点では安全ではないと公式に認めた発言を軸に、その技術的背景と実害の実態を詳しく紹介している。
「大規模展開は現時点で機能しない」——DeepMind研究員が明言
Google DeepMindのシニアスタッフリサーチサイエンティストであるNenad Tomašev氏が、BBC Radio 4のサイエンス番組「The Curious Cases of Rutherford and Fry」の司会者として知られる数学者・Hannah Fry氏によるインタビューの中で踏み込んだ発言をした。AIエージェントの大規模展開は、現時点では信頼性の問題から成立しないというものだ。
Tomašev氏の発言を直接引用する：
「個々のインタラクションに完全な信頼性がなければ、多くのインタラクションを抱える大規模なシステムは、統計的に必然的に失敗します。これらのシステムは大量のコンピューティングリソース、つまりエネルギーとコストを消費します。信頼性がなければ、そもそも話になりません」
この発言が重いのは、競合スタートアップやメディアではなく、AIエージェント研究の最前線にいるDeepMind内部の人間が語っている点だ。AIエージェントへの期待が産業界全体で急速に高まる中、その開発当事者が「スケールすると統計的に壊れる」と述べた。
具体的な攻撃手法：3種類の「エージェントトラップ」
Tomašev氏はインタビューの中で、悪意ある攻撃者がAIエージェントを罠にかける手法として3つの方法を挙げた。
- 隠しトークン（Hidden Tokens）
- 動的クローキング（Dynamic Cloaking）
- ジェイルブレイクを誘発するコンテンツ
隠しトークン
AIは文章を「トークン」と呼ばれる単語の断片に分解して処理する。Webページ上に人間には見えない形でトークンを埋め込むことで、AIエージェントに意図しない動作をさせることができる。視覚的にページを「見る」コンピュータービジョン型エージェントではなく、HTMLのraw形式を直接消費するエージェントが特に脆弱だとTomašev氏は指摘する。
動的クローキング
Tomašev氏が「dynamic cloaking」と呼ぶ手法は、SEO界隈では馴染み深い概念だ。人間向けとエージェント向けで異なるコンテンツを返すもので、ページ上の挙動パターンから「人間かエージェントか」を推定し、エージェントに対してのみジェイルブレイクを誘発するコンテンツを提示する。
インタビュー中、Fry氏が「結婚式のワイン購入エージェントが特定のワイン販売サイトを訪れ、プロンプトインジェクションによって目的が書き換えられるようなことか」と具体例を挙げたところ、Tomašev氏は「それがひとつの形だ」と肯定した。
実際に金銭被害が発生している
最も重要な点として、Tomašev氏はこれがすでに現実の被害として起きていると明言した。対象はウォレットや外部APIへのアクセスをエージェントに与えて実験していたユーザーに限定されており、現時点での一般ユーザーへの広範な被害を示すものではない。ただし、こうした実験的利用者においてプロンプトインジェクション経由の金銭被害が実在するという事実は、今後の大規模展開を考えるうえで看過できない。
「はい、これはウォレットへのアクセスを与えてエージェントを実験していた人たちに実際に起きています。内部の信頼された環境でプロトタイピングしている段階では、こうした問題に直面しません。しかしWebに展開した途端、AIがあらゆる場所で使われるようになった今、エージェントが増えるほど、悪意ある人々にとってのインセンティブも高まります。攻撃対象の表面積が広がるからです」
普及すればするほどターゲットになる
Tomašev氏の「エージェントが増えるほど攻撃インセンティブが上がる」という指摘は、WordPressやWindowsがそのシェアの大きさゆえに攻撃対象となってきた歴史と同じ構図だ。市場支配的なプラットフォームはその普及度そのものが攻撃者の動機を高めるという、セキュリティにおけるよく知られた力学である。AIエージェントが大規模展開されれば、同様の動態が繰り返されることはほぼ確実だ。
この問題の核心には、信頼境界（trust boundary）の設計がある。AIエージェントが外部Webコンテンツを処理する際、どのソースからの入力を「信頼された指示」として扱い、どこからは扱わないかを明確に区分することが必要だ。しかし現在の多くのエージェント実装では、この境界が曖昧なまま構築されており、外部から注入されたコンテンツがシステムプロンプトと同等の権限で処理されてしまうケースがある。エージェントが人間に代わってWebを閲覧し、決済を行い、メールを送信するような自律的なタスクを担う場合、この設計上の甘さは致命的なリスクになりうる。
プロンプトインジェクション攻撃はすでにセキュリティ研究者の間で広く議論されており、OWASPのLLMアプリケーションTop 10でも最重要リスクのひとつに位置づけられている。それでもなお、DeepMindのシニア研究員が「だから大規模展開は今は無理だ」とここまで明確に言い切ったのは珍しい。AIエージェントフレームワークの開発を進めるエンジニアにとっては、信頼境界をどこに引くかが設計上の核心問題として改めて浮き彫りになった格好だ。
詳細はGoogle DeepMind Admits Large-Scale AI Agent Deployment Is Unsafe Todayを参照していただきたい。
