powered by TechFeed
表示モード
Deep Dive

AIレッドチームの「攻撃数千件」は重複だらけだった — 多様性のない攻撃データで再学習すると防御が逆に弱くなる

11月20日、Help Net Securityが「Your AI red team may be finding the same prompt injection thousands of times」と題した記事を公開した。ベンダーが誇る「数千件の攻撃でテスト済み」という数字は、防御品質を保証するのか——ウォータールー大学、浙江大学、KTH王立工科大学の研究者たちが実験でその問いを突いたところ、攻撃データが多いほど防御が弱くなるという逆転現象が観測された。自動レッドチームツールが同じ手口の言い換えを大量生産している構造的問題が原因だ。

11月20日、Help Net Securityが「Your AI red team may be finding the same prompt injection thousands of times」と題した記事を公開した。ベンダーが誇る「数千件の攻撃でテスト済み」という数字は、防御品質を保証するのか——ウォータールー大学、浙江大学、KTH王立工科大学の研究者たちが実験でその問いを突いたところ、攻撃データが多いほど防御が弱くなるという逆転現象が観測された。自動レッドチームツールが同じ手口の言い換えを大量生産している構造的問題が原因だ。


「攻撃数が多い方が強い」は幻想だった

AIエージェントへのプロンプトインジェクション(Prompt Injection)攻撃とは、メール・Webページ・ツール出力の中に悪意ある指示を埋め込み、エージェントにファイル転送や送金といった意図しない行動を取らせる手法だ。近年、LLMベースのエージェントが実務に使われ始めるにつれ、この脅威への注目が高まっている。

エージェントを強化する一般的な方法は、自動攻撃ツールでエージェントを叩き、成功した攻撃例を集め、それで再学習(retraining)させるというものだ。ベンダーが「数千件の攻撃でテスト済み」と言うとき、その数千件が実際にはどれだけ多様なのか——研究者たちはその問いを実験で突いた。なお、本研究の論文はarXiv(PIPETTE)で公開されている。


「攻撃数2倍」が「防御力2倍」にならなかった実験

研究チームは2つの公開攻撃ツール、PISmithとRL-Hammerを同じモデル(Qwen3-4B)に対して560タスクで動かした。

  • PISmith:68.75%のタスクを突破、成功例 7,132件
  • RL-Hammer:33.39%のタスクを突破、成功例 4,282件

攻撃数だけ見ればPISmithの圧勝だ。ところが、それぞれの攻撃データセットで再学習させたモデルに未知の攻撃を当てると、逆転が起きた。

  • PISmithデータで鍛えたモデル:ハイジャック率 最大47.5%
  • RL-Hammerデータで鍛えたモデル:ハイジャック率 最大27.5%

40タスク中19件 vs 11件という小規模な数字であり、この結果だけで断定的な結論を引き出すことには統計的な限界がある。ただし、同じ傾向が4つの実験設定のうち3つで観測されており、「攻撃の量」と「防御の質」が必ずしも比例しないことを示す傾向証拠として注目に値する。より大きな攻撃コレクションが、より弱い防御を生んだ。


原因:ツールが「同じ手口の言い換え」を量産する

なぜこうなるのか。研究チームが指摘する主因は、攻撃ツールの「マンネリ化」だ。これは意図的な不正ではなく、ツールの設計上の構造的問題である。

一度有効な手口(例:「ユーザーのタスクはすでに完了した」とエージェントに思い込ませる)が見つかると、ツールはそれを繰り返しながら別タスクに適用し続ける。多様性チェック機構は搭載されているが、文面の差異(大文字小文字の変更、無関係なテキストの付加)で「通過」と判定される。

結果として、エージェントは数種類の手口の言い換え数千バリエーションで再学習することになる。いくつかの穴は塞がるが、カバーされていない手口はそのまま残る。


PIPETTE:手口の多様性を直接報酬化する仕組み

研究チームはこの問題に対し、PIPETTE(論文詳細)という仕組みを構築した。ポイントは2つある。

  1. 手口でクラスタリング:成功した攻撃を技術的手口ごとに分類し、新しい手口を発見したときに追加報酬を与える。攻撃ツールが多様な手口を探すよう誘導する。
  2. 行動前の意図確認:再学習したエージェントが各アクションを実行する前に「これはユーザーの本来の目的に沿っているか」を自己チェックする。

この2点目が重要な理由がある。標準的な手法で強化されたエージェントは「怪しいデータが来たら止まる」という学習をしてしまいがちで、攻撃もユーザーの正規タスクも一緒に止めてしまう。

AgentDojo(日常的なエージェントタスクの公開ベンチマーク)での評価では、PIPETTE適用後の小型モデルに対して既製の攻撃はほぼ通らなかった(成功率0.5%未満)。また、PIPETTE版のQwen3-4Bは元のモデルより正規タスクの完了率がわずかに上がった(**64.95% vs 61.86%**)。

比較として、PromptGuardのような検出型防御は攻撃のブロック率でPIPETTEをわずかに上回る場面もあるが、ある攻撃シナリオではエージェントが正規タスクを完了できた割合が**16.19%に落ち込んだ。PIPETTEは58.10%**を維持した。


適応的攻撃者には限界も

250回程度のリトライを許す適応的攻撃者に対しては、PIPETTE版でも脆弱な40タスクのうち**最大10%**が突破された。テスト対象は4B〜27Bパラメータのオープンウェイトモデルに限られており、より大きな攻撃予算に対してどうなるかは未検証だ。手口カバレッジのスコアリングが人間の判断と一致するかどうかの検証も残されている。


ベンダーに聞くべき数字

元記事は最後に、実務担当者がベンダーに確認すべき指標を整理している。いずれも研究チームの主張に基づく観点だ。

  • 攻撃件数:レッドチームの稼働量を示すだけで、防御品質とは別の話
  • カバーした手口の種類:こちらの方が実質的な多様性の指標になる
  • 数百回リトライを許す攻撃者に対する耐性:1回こっきりのテストより現実的
  • 強化後もエージェントが正規タスクを完了できる割合:防御が使い勝手を壊していないかの確認

詳細はYour AI red team may be finding the same prompt injection thousands of timesを参照していただきたい。