powered by TechFeed
表示モード
Deep Dive

AIエージェントは「サービス正常なのに答えが間違う」をエラー検知できない — AWSが提唱する4層オブザーバビリティフレームワーク

11月20日、AWSが「An AI Observability Framework for Your Agentic Applications」と題した記事を公開した。この記事では、AIエージェントをプロトタイプから本番運用まで観測するための4層フレームワークについて詳しく紹介されている。

11月20日、AWSが「An AI Observability Framework for Your Agentic Applications」と題した記事を公開した。この記事では、AIエージェントをプロトタイプから本番運用まで観測するための4層フレームワークについて詳しく紹介されている。


なぜ今、エージェントのオブザーバビリティが問題になるのか

従来の監視はコードが振る舞いを決定するという前提に立っている。エージェントはその前提を崩す。同一のリクエストが異なるパスを辿り、異なるコストを生み出す。しかも「流暢で速く、しかし間違った回答」はエラーとして検出されない。サービスが稼働中であることを確認しても、エージェントが正しく動作しているかどうかはほとんど何もわからない。

※編集部の考察:AWSブログ本文には外部調査会社(IDC・Gartner)による統計データの引用は含まれていない。エージェント監視の重要性はAWSブログが独自の論拠で説いており、上記の問題意識はその要約である。


4層フレームワークの全体像

AWSが提示するフレームワークは縦軸(4つの層)と横軸(3つの横断的関心事)の2次元で構成される。

4つの層は上から順に:

  • Application層:アプリケーションコード、API、データストア
  • Agentic層:エージェント本体、ツール呼び出し、RAG(検索拡張生成)、エージェント間プロトコル
  • Model層:推論に使うLLM(大規模言語モデル)群
  • Infrastructure層:コンテナ、サーバーレス、自己ホストモデルの計算基盤

横断的に追うべき3つの関心事は:

  • 信頼性・品質(正しく動いているか)
  • コスト(何にいくらかかっているか)
  • セキュリティ・ガバナンス(何にアクセスでき、誰が承認したか)

記事では各層ごとに具体的なAWSサービスとの対応も示されており、たとえばApplication層・Infrastructure層のメトリクス収集にはAmazon CloudWatch、分散トレーシングにはAWS X-Rayが活用できる構成として言及されている。Agentic層・Model層については後述するOpenTelemetryベースの標準化アプローチが推奨されている。


最も重要なポイント:Agentic層とオブザーバビリティの「シフトレフト」

4層の中で最も見落とされがちで、かつエンジニアが直面しやすい問題がAgentic層だ。ここではサービスは正常稼働しているのに振る舞いが間違っているという状態が発生する。

代表的な失敗パターン:

  • 誤ったドキュメントから自信満々に回答する
  • 言い換えながら同じ検索を繰り返す
  • 存在しないツールを呼び出す
  • コンテキスト圧縮時に指示が消える
  • 「タスク完了」と報告するが実際には未完了

検出に使うシグナルとしては、推論ステップ・ツール呼び出し・検索・ハンドオフごとに1スパンを持つトレースツリー、タスクあたりのステップ数と正常範囲の比較、検索結果の関連性スコア、承認ゲートの要求・承認・拒否のログなどが挙げられている。

開発フェーズから計測を始める

記事が特に強調するのが「オブザーバビリティのシフトレフト」だ。これはもともとCI/CDの文脈で「テストや品質チェックをパイプラインの左側(早期フェーズ)に移す」という考え方として普及した概念で、ここではその思想をオブザーバビリティに転用し、本番稼働後ではなく設計・開発段階から計測を組み込むことを指している。

  • プロトタイピング段階から全実行をトレースし、実際のタスクセットに対するオンデマンド評価(eval)を実施する。最終回答だけでなく、エージェントが辿ったパスも評価対象にする。
  • 本番昇格前には、eval をCI/CDのゲートに組み込む。プロンプト・モデル・ツール定義・ハーネスのいずれかが変更されたらリグレッションセットで評価を走らせ、品質が維持できた場合のみリリースする。
  • 本番環境ではライブトラフィックのサンプルに対してオンライン評価を継続実行し、ステップ数とコストにハードキャップを設ける。失敗トレースを人間がレビューして評価セットに追加し、次のビルドに反映させる。

Model層:見えていないモデル呼び出しが多い

エージェントの1回の実行が複数のモデルを呼ぶケースは珍しくない。計画用の推論モデル、ステップの信頼度を判定するルーターモデル、RAG(検索拡張生成)用の埋め込みモデルと再ランキングモデルなどが同時に動く。主LLMだけを監視していると、実行中の判断の大半が観測から漏れる。

推奨シグナル:TTFT(Time to First Token)、TPS(Tokens per Second)、タイプ別トークン数(入力・出力・推論)、キャッシュヒット率、コールあたりコスト。OpenTelemetry(OTel)のGenAI semantic conventionsを使い、モデルID・バージョン・役割(プランナー、ルーター、ジャッジ等)をタグとして付与することが推奨されている。

Amazon Bedrockを利用している場合は、モデル呼び出しのレイテンシやトークン消費をAmazon CloudWatchのメトリクスとして取得できる。自己ホストモデルや外部モデルAPIを混在させる構成では、OTelコレクターを統合ゲートウェイとして挟むことで全モデル呼び出しを一元的に収集できる。


層をまたいだ相関分析と標準化

各層のシグナルは単独では「何が起きているか」しかわからない。層をまたいだ相関こそが根本原因の特定を可能にする。

記事中の具体例として、ユーザーが11秒かかった回答の原因を追跡すると、9秒がエージェントの2階層下にある決済データベースの遅いクエリに起因していたというケースが示されている。これは全層を同一トレースで繋いで初めて見える。AWS X-Rayはこうしたサービス間の分散トレースを可視化する際の標準的な選択肢となる。

標準化にはOpenTelemetryと、エージェントフレームワーク向けに追加の属性(検索・評価等)を定義するOpenInferenceの採用が推奨されている。両者は標準OTelトレースを出力するため、既存のアプリケーション層のトレースと同一のトレースに結合できる。収集したテレメトリはAmazon CloudWatchやAWS X-Rayに送信することで、既存のAWSオブザーバビリティ基盤とシームレスに統合できる。


詳細はAn AI Observability Framework for Your Agentic Applicationsを参照していただきたい。