ClaudeエージェントのAIデバッグ基盤としてDatabricks MLflowが正式対応 — エージェントの誤動作を即追跡、なぜ間違えたかを実行ログから特定

11月4日、Databricksが「Claude Platform now supports native OpenTelemetry observability in Databricks MLflow」と題した記事を公開した。AnthropicのClaudeプラットフォームがDatabricks MLflowへのネイティブOpenTelemetryエクスポートに正式対応し、AIエージェントのデバッグ・評価基盤として利用できるようになった。エージェントが重要な情報を見落としていたり、同じドキュメントを繰り返し読むループに陥っていたりしても、最終的な回答だけを見ている限りその原因はわからない。トレース（実行ログ）なしには「もっともらしく見えるが実は壊れている」挙動を見つけること自体が難しい。本対応はその課題に直接答えるものだ。

自動検出と対話的分析が核心

セットアップ手順の前に、本対応の最も注目すべき機能を先に押さえておきたい。

ベータ提供中のMLflow Issuesは、複数トレースをまたいで繰り返し発生する品質・運用上の問題を自動検出する。 トークンを無駄にする重複検索、ツール失敗を引き起こす引数の欠落、フォーマット違反の応答といった問題を、関連トレースへのリンクとともにグループ化して提示する。検出処理はスケジュール実行が可能で、修正後も同じ問題が再発していないかモニタリングを継続できる。

さらに、MLflowのAnalyze traceアクションはGenie Codeを使って記録された実行内容を対話的に分析し、どこで問題が発生したかを説明する。コンテキストの欠落、ツール呼び出しの失敗、コストの高いステップについて追加の質問もできる。個別トレースを掘り下げる際の起点として機能する。

Analyze traceをクリックすると、Genie Codeが選択した実行内容を調査する。

なぜトレースが必要か

OpenTelemetryはサービスの実行シグナルを収集・エクスポートするためのオープン標準規格で、MLflow Tracingはこの規格上に構築されている。Claudeのネイティブ計装がスパン（個々の実行ステップ）を生成し、OTLPプロトコルでDatabricksへ送信する。

受信したスパンはZerobus Ingest（DatabricksのOpenTelemetryデータ受信・処理パイプライン）を経由し、Unity Catalogのテーブルに保存される。Unity CatalogはSQLでのクエリにも対応しており、センシティブなトレースデータへのアクセス制御も担う。

Databricks MLflowは、ClaudeプラットフォームからのネイティブOpenTelemetryエクスポートの送信先として正式サポートされた。対象はAnthropicのSDK、Messages API、そしてManaged Agentsだ。

ClaudeのネイティブOpenTelemetryトレースがUnity CatalogとDatabricks MLflowに流れ込む。

3ステップで接続する

1. エクスペリメントを作成する

DatabricksのExperimentsタブからCreate Experimentを選択。Trace storage locationでUnity Catalogを選び、既存のカタログとスキーマを指定する。これにより、OpenTelemetryトレースを保存するUnity Catalogテーブルに紐付いたMLflowエクスペリメントが作成される。権限やSQLウェアハウスの要件については詳細セットアップガイドを参照。

2. ネイティブエクスポートを設定する

ワークスペースID・リージョン・スパンテーブルを使ってDatabricksの送信先を設定する。テーブルスコープのOAuthトークンの取得方法はZerobusの接続ガイドに記載されている。

Anthropic SDKを使う場合は、OTelトレーサープロバイダーとエクスポーターを設定することでSDK呼び出しのスパンが生成される。Messages APIやClaudeのManaged Agentからトレースを送る手順はClaude Platform OpenTelemetryガイドに従う。Claude CodeおよびClaude Agent SDKも同じ送信先へのOpenTelemetryに対応している。

3. タスクを実行してトレースを確認する

Claudeエージェントを実行したら、エクスペリメントのTracesを開く。個々のトレースからモデル呼び出し、ツールの動作、タイミング、入出力を確認できる。

⚠️ 注意：入出力のキャプチャは content mode を「full」に設定した場合のみ有効になる。 デフォルト設定のままではプロンプトや応答内容がトレースに記録されないため、デバッグ目的で使う場合は必ず確認すること。

Databricks MLflow上のネイティブOTelトレース。モデルスパンとツールスパンが確認できる。

トレースをどう使うか

複数トレースにまたがる問題を発見する

前述のMLflow Issues（ベータ）は、単一の実行では見えにくいが繰り返し発生するパターンを浮かび上がらせる。検出された問題は関連トレースへのリンクとともに提示されるため、再現性の確認や修正効果の検証が一貫した流れで行える。

ドメイン専門家によるレビュー

品質の判断にドメイン知識が必要な場面では、MLflow Review Queuesがレビュープロセスを支援する。レビュアーはトレースから記録されたリクエストと回答を直接確認し、不足点の説明や期待する回答の提供ができる。そのフィードバックは後続の評価における参照回答としても機能する。

変更前後の評価比較

プロンプトやツールの変更が既存の問題を修正する一方で別の問題を引き起こすことがある。MLflow Agent Evaluationを使えば、同一ケースに対してオリジナルと改訂版のエージェントを走らせ、スコアと回答をMLflow UIのCompareビューで並べて比較できる。たとえば、エージェントが冗長なツール呼び出しをしていないかをLLMジャッジで検査するといった使い方が例示されている。

参考リソース

詳細はClaude Platform now supports native OpenTelemetry observability in Databricks MLflowを参照していただきたい。