powered by TechFeed
表示モード
Google

Googleが本番AIエージェントの「見えない誤動作」を自動診断するツール「AQuA」をOSS公開 — ステータス200でも気づけない品質劣化を検出

11月13日、Leela Kumiliが「Google Open Sources Ambient Quality Agent (AQuA) to Diagnose Production AI Agent Failures」と題した記事を公開した。GoogleがAIエージェントの本番環境における障害を自動診断するオープンソースツール「AQuA」を公開したことを詳しく紹介している。

11月13日、Leela Kumiliが「Google Open Sources Ambient Quality Agent (AQuA) to Diagnose Production AI Agent Failures」と題した記事を公開した。GoogleがAIエージェントの本番環境における障害を自動診断するオープンソースツール「AQuA」を公開したことを詳しく紹介している。


見えない品質劣化を検出する「AQuA」とは

AIエージェントが本番環境で正常に見えながら実は意図した動作をしていない、いわゆる「サイレント品質劣化」は、従来のインフラ監視では検出できない。HTTPステータスコードが200を返していても、ユーザーの好みを無視したり、必要なツール呼び出しをスキップしたりしているケースがその典型だ。

Googleが公開したAQuA(Ambient Quality Agent)は、この問題に正面から取り組むリファレンス実装である。エージェントのリクエストパスの外側でサイドカーとして動作し、Cloud Trace・Cloud Logging・BigQueryからテレメトリを読み取る。1回の実行で最大1,000セッションをサンプリングし、以下の5段階で処理する:

  1. サンプリング
  2. セッションのレビュー
  3. 発見事項のクラスタリング
  4. 候補クラスタの検証
  5. 問題のトラッキング

エンジニアが馴染みのある構成で言えば、APMツール(DatadogやNew Relicなど)が「インフラの状態」を監視するのに対し、AQuAは「エージェントの振る舞いの品質」を監視する層を担う。

なお、AQuAがどのLLMを内部で使用しているかについては、元記事に明示的な記載がない。GitHubリポジトリや関連ドキュメントで詳細が確認できる可能性がある。


根本原因の特定まで行う診断エージェント

AQuAの核心は根本原因分析(RCA)機能にある。障害セッションをデプロイ時に取得した不変のソーススナップショットと照合し、問題のあるコードや指示を特定。ファイル名と行番号を引用した上で、修正案まで提示する。ただし、PRの自動作成やコードの自動修正は行わない。

原因の帰属先はリポジトリ内のコードに限らず、外部依存・ツールのハンドオフ・取得データにも及ぶ。

Google自身の評価では、マルチエージェント旅行アプリの32セッションを分析したところ、42件の発見事項が9つの候補クラスタにグループ化された。検証器は各候補につき最大3件の完全トランスクリプトを確認した上で根拠不十分な3クラスタを棄却し、6件の問題が確認済みとなった。その中には「座席空き確認のバイパス」と「代理処理中の乗客のビーガン食希望情報の消失」が含まれていた。

開発者がプロンプトを修正してセッションをリプレイした結果:

  • 座席選択バイパス:15セッション → 2セッション
  • 食事制限情報の欠落:7セッション → 0セッション
  • 全チェック通過セッション:5 → 13

これらはあくまで制御されたリプレイの結果であり、本番トラフィックでの数字ではない点は留意が必要だ。


設計上の判断:信頼性の担保

AQuAはいくつかの設計上の判断が興味深い。

発見事項は「自己申告の信頼スコア」ではなく、デプロイ済みスナップショット内の有効な行への引用によって裏付けられる。ブログ記事には以下のように記されている:

An insight is its citations, not a self-reported confidence score.
(インサイトはその引用によって評価される。自己申告の信頼スコアではない)

問題のトラッキングはNEW・RECURRING・RESOLVEDの3状態で管理され、14日間観測されなければ自動的にRESOLVEDとなる。

品質判断の基準は goal.md ファイルでドメイン固有の条件を記述して設定でき、決定論的なカスタムメトリクスの追加も可能だ。実行タイミングはスケジュール・デプロイ後・オンデマンドから選択できる。


競合・類似ツールとの位置付け

GoogleのAgent Platform評価サービスがリグレッションテストや本番品質監視を担い、Arize Phoenixがオープンソースのトレーシング・評価を提供する中、AQuAは本番の障害グループ化と検証済み発見事項のソースコードへの紐付けに特化している。

制約としてGoogleが明示しているのは、サンプリングによるレアケースの見逃しと、外部状態の再現が不完全になる場合があることだ。

ソースコードはGitHub(adk-recipes)で公開されている。


詳細はGoogle Open Sources Ambient Quality Agent (AQuA) to Diagnose Production AI Agent Failuresを参照していただきたい。