powered by TechFeed
表示モード
Deep Dive

DatadogがAIエージェントにA/Bテストを導入 — 「評価データでは合格、本番で崩れる」問題に正面から挑む

11月17日、Craig Risiが「Datadog Brings Production Experimentation to AI Agent Observability」と題した記事を公開した。DatadogがAIエージェント観測基盤にオンライン実験機能を追加し、本番トラフィックを使ったA/Bテストでエージェントの改善効果を検証できるようにした取り組みを詳しく紹介している。「テストでは優秀でも本番で崩れる」という構造的な問題への実践的なアプローチとして注目に値する。

11月17日、Craig Risiが「Datadog Brings Production Experimentation to AI Agent Observability」と題した記事を公開した。DatadogがAIエージェント観測基盤にオンライン実験機能を追加し、本番トラフィックを使ったA/Bテストでエージェントの改善効果を検証できるようにした取り組みを詳しく紹介している。「テストでは優秀でも本番で崩れる」という構造的な問題への実践的なアプローチとして注目に値する。


「テストで良くても本番で崩れる」問題をどう解くか

AIエージェント開発で繰り返される悩みがある。事前に用意した評価データセットでは好成績だったのに、本番のユーザーリクエストにさらすと挙動が大きく変わる——というパターンだ。

DatadogがAgent Observabilityプラットフォームに追加したOnline Experimentsは、この問題に正面から取り組む機能だ。モデル、プロンプト、検索戦略、ツールへの変更が実際に改善をもたらすかどうかを、本番トラフィックを2つのエージェントバージョンにランダム分配することで検証する。いわゆるA/Bテストをエージェント評価に持ち込んだ形である。

オフライン評価(事前定義されたデータセットへの回答を採点する手法)が不要になるわけではない。既知のリグレッションを本番前に検出するうえで引き続き重要な役割を担う。ただし、オフライン評価の精度はデータセットの質に依存する。ユーザーが予期しないワークフローを踏んだり、ツールのレスポンスが変わったりすると、既存のテストケースでは見えない弱点が生じる。

Online Experimentsはその盲点を埋める位置づけだ。


評価スコアだけでなく、コスト・レイテンシ・エラー率も一括比較

機能の要点は、LLMベースの評価スコアと運用メトリクスを同一画面で比較できることにある。具体的に計測できる指標は次のとおりだ。

  • 応答品質・正確性・網羅性(LLMエバリュエーターによる1〜5点採点)
  • 実行時間(レイテンシ)
  • トークン消費量
  • 推定コスト
  • ワークフローエラー率

トラフィック割り当てにはフィーチャーフラグ(特定のユーザーやセッションに対して新機能の公開範囲を動的に制御する仕組み)を使い、最初は一部ユーザーだけに新バージョンを当てて段階的に展開できる。

記事中では、GPT-5.6 LunaとGPT-6 Lunaをトラフィック均等分配で比較した事例が紹介されている。いずれも記事中に登場するモデル名であり、OpenAIのGPT系列に属するバージョンとして扱われている。結果は以下のとおりだ。

指標 GPT-5.6 Luna GPT-6 Luna
調査品質スコア(1〜5) 3.84 3.86
推定コスト 基準 44.3%削減
実行時間 基準 増加傾向(※)
ワークフローエラー率 基準 増加傾向(※)

※実行時間・ワークフローエラー率の「増加傾向」は、信頼区間(CI:Confidence Interval)が広く統計的有意性が低い状態を指す。サンプル数が少ない段階では断定的な解釈を避けるべきとされている。

品質スコアだけ見れば新モデルへの移行は問題なさそうに映る。しかし実行トレースを掘り下げると、GPT-6 Lunaは無効なツールパラメータを渡す頻度が高く、リトライで回復しているケースが多いことが判明した。この挙動は品質スコアに十分反映されておらず、スコアだけ見ていれば見逃していた問題だ。

Datadogはこの知見をもとにツールハンドリングを改善してからモデル移行を進めた。また、失敗したツール呼び出しはオフライン回帰テストの新規ケースとして追加した。


競合との差別化

同様の課題に取り組むツールとして、記事はLangSmith、Langfuse、LaunchDarklyを挙げている。

LangSmithはLangChainエコシステムと親和性が高く、エージェントのトレース記録・プロンプト管理・評価実行を担う。Langfuseはオープンソースのトレーシング・評価基盤として、モデルやフレームワークを問わずLLMアプリの挙動を可視化するために使われる。LaunchDarklyはフィーチャーフラグによる段階的ロールアウトに特化したプラットフォームだ。これらを組み合わせれば一通りの実験基盤は構築できるが、ツール間の連携や統合の手間が生じる。

Datadogの特徴は、評価・実験・トレースを既存の可観測性エコシステムの中で一体化している点だとされている。インフラ監視・APM・ログ管理をすでにDatadogで運用しているチームにとっては、AIエージェントの実験結果をシステム全体の健全性と同一文脈で確認できる点が差別化になりうる。


本番実験がエージェント開発の標準になるか

記事が示す方向性は明確だ。「事前定義した評価を通過するか」ではなく「実際の条件下でより良く動くか」を問うことが、エージェント開発における次の標準になりうる。

本番の失敗ケースが回帰テストに変わり、次の実験でその修正効果を検証する——このフィードバックループを構造化する仕組みとして、Online Experimentsは位置づけられている。

詳細はDatadog Brings Production Experimentation to AI Agent Observabilityを参照していただきたい。