powered by TechFeed
表示モード
Deep Dive

AIエージェントは障害時に「自信満々に間違える」— ツール障害を意図的に注入して初めてわかる本番環境の盲点

11月19日、AWSが「Resilience testing your agents on Amazon Bedrock AgentCore」と題した記事を公開した。Amazon Bedrock AgentCore上で動作するAIエージェントにツール障害を意図的に注入し、その耐障害性を本番環境相当の条件で検証する手法について詳しく紹介されている。ツール障害時のエージェントの「本当の」挙動を知っているかAIエージェントが参照するデータベースがタイムアウトし、APIが誤ったデータを返し、検索結果がフィールドを欠落させる。本番環境では日常的に起きうるこれらの事態に対し、あなたのエージェントはどう振る舞うか。問題はエラーを返すことではない。壊れたデータの上に自信満々な回答を組み立てることだ。記事はその危険性を具体的な実験データで示す。実験設計:仮説を先に書く実験を始める前に、エージェントが「どう振る舞うべきか」を明文化することが求められる。記事が提示するフォーマットはこうだ。

11月19日、AWSが「Resilience testing your agents on Amazon Bedrock AgentCore」と題した記事を公開した。Amazon Bedrock AgentCore上で動作するAIエージェントにツール障害を意図的に注入し、その耐障害性を本番環境相当の条件で検証する手法について詳しく紹介されている。

ツール障害時のエージェントの「本当の」挙動を知っているか

AIエージェントが参照するデータベースがタイムアウトし、APIが誤ったデータを返し、検索結果がフィールドを欠落させる。本番環境では日常的に起きうるこれらの事態に対し、あなたのエージェントはどう振る舞うか。

問題はエラーを返すことではない。壊れたデータの上に自信満々な回答を組み立てることだ。記事はその危険性を具体的な実験データで示す。

実験設計:仮説を先に書く

実験を始める前に、エージェントが「どう振る舞うべきか」を明文化することが求められる。記事が提示するフォーマットはこうだ。

When tool calls for [agent] are [canceled | corrupted], we expect it to [observable behavior] and to fail safe rather than fabricate. After {x} failed tool calls in {y} minutes an alarm should be raised and the DevOps team notified within {a} minutes.

このフォーマットに沿って仮説を書き、実験後の実際の挙動と照らし合わせる。ズレている箇所こそがエージェントの改善ポイントになる。

仕組み:AWS FISとSSMでツール障害を注入する

実験基盤には**AWS Fault Injection Service(AWS FIS)とAWS Systems Manager(SSM)**を組み合わせて使う。構成はシンプルだ。

  • AWS FISがSSM Automationアクションを実行し、SSM Parameter Storeの /chaos/{runtime_id}/ 配下に障害設定を書き込む
  • エージェントの制御層がSSMパラメータを呼び出しごとに読み取り(10秒TTLでキャッシュ)、設定に応じてフォルトを注入する
  • エージェントは再デプロイなしで稼働したまま、障害注入のオン・オフを切り替えられる

注入コードの組み込みは1行で済む。

agent = Agent(
    model="us.anthropic.claude-sonnet-4-5-20250929-v1:0",
    system_prompt=(
        "You are a Pokémon team-building advisor. Use the get_pokemon and get_move tools. "
        "If a tool call fails, immediately stop, notify the user which data you could not "
        "retrieve, and do not answer from guesses."
    ),
    tools=[get_pokemon, get_move],
    plugins=chaos_plugins(),  # ← これだけ
)

2種類の障害:「キャンセル」と「腐食」

記事は障害を2系統に分ける。

Pre-hook(ツール呼び出しをキャンセル)

  • timeout、network_error、execution_error、validation_error
  • エージェントが失敗を検知してリトライ・フォールバック・断念のいずれを取るかを検証する

Post-hook(レスポンスを腐食させる)

  • truncate_fields、remove_fields、corrupt_values
  • こちらの方がより危険。ツール呼び出しは「成功」しているのに、返ってきたデータが壊れている。エージェントはエラーに気づかないまま壊れたデータで回答を組み立てる。

実験結果:「自信満々に間違える」という最悪のパターン

記事が最も詳しく報告しているのが、この結果だ。

対象は同一エージェントの2バージョン。違いはシステムプロンプトに「ツール失敗時は推測せず、ユーザーに取得できなかったデータを告げよ」という指示があるかどうかだけ。障害は get_move を timeout、fault_rate=1.0 に設定し、各構成5回ずつ実行した。

指示なし(Config A) 指示あり(Config B)
ツール呼び出し数 ベースラインの平均1.35倍、最悪2.5倍 ベースライン以下に削減
ツール全失敗時の挙動 訓練データから回答を生成し事実として提示 取得できなかったデータを明示して回答を断った

指示なしエージェントが実際に返した回答の一部(すべての get_move 呼び出しが失敗していた状態):

"I'm experiencing technical difficulties with the move lookup tool. However, based on standard Pokémon move data: Among Mamoswine, Nidoking, and Garchomp, the one that learns the single most powerful move is Nidoking, with Megahorn at 120 power…"

1文だけ保留を入れた後、具体的な数値付きで確信に満ちた回答を返している。記事はこれを「confidently wrong」と分類し、「この失敗モードは信頼を見えない形で侵食する」と指摘する。在庫数・価格・口座残高のような独自データを扱うエージェントで同じことが起きれば、その数値は誰にも気づかれないまま別のエージェントや意思決定に流れ込む。

腐食(post-hook)はさらに厳しかった。 指示なしの場合、15回中14回が「データが壊れていることに言及せず自信を持って回答」した。エージェントが腐食を検知できたのは、値が明らかに異常な場合(例:ゲームの技の威力として99999は非現実的)だけだった。

インフラ監視では検知できない

記事が強調するもう一つの重要な点が可観測性の盲点だ。

実験中、**Amazon CloudWatchのエラーメトリクスはすべて0.0を維持した**。すべてのツール呼び出しがキャンセルまたは腐食された呼び出しを含めて、エンドポイントはHTTP 200を返し続けた。インフラ層から見れば「何も問題は起きていない」。

対策として記事が提案するのは、Strandsの AfterToolCallEvent フックにツール出力検証プラグインを追加し、**Pydanticのモデルでツールのレスポンスをバリデーション**することだ。

class PokemonOutput(BaseModel):
    name: str = Field(min_length=4)  # truncate_fields を検知
    pokedex_id: int
    types: list[str]
  • フィールドの欠落 → remove_fields を検知
  • 型の不一致 → corrupt_values を検知
  • 値の範囲外 → Field(ge=1) のような制約で検知

バリデーション結果はEMF(Embedded Metric Format)ログとしてCloudWatchに送出し、メトリクスとしてアラームを設定できる。

なお「structured outputs(構造化出力)」を使えば済むのでは、という疑問に対し、記事は明確に否定している。構造化出力が保証するのはモデルが出力するスキーマの正しさであり、ツールが返したデータの正しさではない。スキーマに適合した回答が、タイムアウトや腐食したツール呼び出しの上に組み立てられていても検知できない。


実験の成果物(FISテンプレート、SSM Automationドキュメント、IAMポリシー)はFIS template library(GitHub)で公開されている。

詳細はResilience testing your agents on Amazon Bedrock AgentCoreを参照していただきたい。