10月18日、Futurismが「Using an AI Agent Makes You a Sucker for Phishing Emails」と題した記事を公開した。AIアシスタントがフィッシングメールに仕込まれたプロンプトインジェクション攻撃に対して脆弱であることは以前から指摘されてきたが、自律型AIエージェントの普及によって「攻撃が成立した場合の被害範囲」が根本的に変わりつつある。人間が確認する前にAIが動作を完了してしまう時代において、この古くて新しい脆弱性は改めて注目に値する。
AIエージェントはフィッシングメールを「信じてしまう」
人間ならば一目でおかしいと気づくような粗雑なフィッシングメールも、AIアシスタントには通じてしまう場合がある。サイバーセキュリティ企業のMalwarebytesが公開したレポートが、その具体的なメカニズムを明らかにした。
問題の核心はプロンプトインジェクション攻撃だ。攻撃者はメール本文に、人間には見えない隠しテキストとして悪意ある命令を埋め込む。AIシステムはそのテキストを処理できるため、ユーザーが気づかないまま不正な指示を実行してしまう。
Malwarebytesは、この隠しテキストについて「人間には読めない形で隠蔽しながら、AIシステムが処理できる状態で残す」と説明している。
「モデルは読むべきテキストと従うべき指示を区別できない」
AIコードレビューサービス「ShipItClean」の開発者であるApollo Rainesは、Malwarebytesの取材に対してこう語っている。
「本当の欠陥は、モデルが『読むべきテキスト』と『従うべき指示』を区別できない点にある。隠しコンテンツをモデルに届く前に除去することは有効であり、すべてのベンダーが実施すべきだ。」
RainesはさらにAIアシスタントに対する過信を戒め、「怪しいメールを疑うのと同様に、AIアシスタントも疑うべき」と述べている。
エージェントの「自律実行」がリスクを拡大する
プロンプトインジェクション自体は数年前から知られた脆弱性だ。しかし、自律型AIアシスタントが広く普及しはじめた現在、リスクの質が変わってきている。
従来は人間がAIの出力を確認してから行動に移すケースが多かった。だが、人間の監視なしに一連のタスクを自律実行するAIエージェントが登場したことで、フィッシングメールに仕込まれた命令がそのまま実行されるシナリオが現実味を帯びてきた。
同様の問題はすでにAI搭載ブラウザでも確認されており、Futurismは以前OpenAIのブラウザがプロンプトインジェクション攻撃を受けた事例を報じている。また、AI専用SNS「Moltbook」上でボット同士がプロンプトインジェクション攻撃を売買するという奇妙な事態も起きている。
Malwarebytesの推奨：「人間をループに残せ」
Malwarebytesは今のところ、AIツールの利用をやめる必要はないとしつつも、以下の対策を推奨している。
- AIアシスタントに与える権限の範囲を慎重に設定する
- 支払いや取引先の口座情報変更など影響の大きい操作には、必ず人間の承認を挟む
Rainesはこの状況を「軍拡競争」と表現している。「新しいエンコードのトリックが出るたびに、新たな穴が生まれる」というわけだ。AIエージェントにメールの認証情報や決済情報へのアクセス権を付与しているユーザーが少なくない現状では、この警告の重みは大きい。
詳細はUsing an AI Agent Makes You a Sucker for Phishing Emailsを参照していただきたい。
