11月6日、Shift MagazineがDatadogのDan Maher氏へのインタビューをもとにした「Dan Maher from Datadog Says AI Agent Reliability Is an Engineering Problem, Not a Model Choice」と題した記事を公開した。AIエージェントの信頼性はモデル選択の問題ではなくエンジニアリングの問題であるというDan Maher氏の主張を、インタビュー形式で掘り下げた内容だ。
「モデルの性格」と思っているものは、実はハーネスの性格だ
AIエージェントを使っていて「このモデルは慎重だ」「あのモデルは答えを出すのが早い」と感じたことはないだろうか。DatadogでSenior Technical Advocate and Researcher（STAR）を務めるDan Maher氏は、その認識に疑問を呈する。
What many people think of as a model's personality is in fact a harness's personality.（多くの人がモデルの個性だと思っているものは、実はハーネスの個性だ）
ここでいうハーネス（harness）とは、モデルを包むシステム全体——プロンプトの構成、ツール呼び出しの仕組み、メモリ管理、オーケストレーション層（複数のAIコンポーネントやツールを連携・制御する仕組み）などを指す。モデルを車のエンジン（あるいは瓶の中で考えることしかできない脳）とするなら、ハーネスはタイヤや手足に当たる部分だ。モデル自体が何でも考えられても、実際に動くのはハーネス次第である。
Dan氏は「この区別を自分自身も長い間理解できていなかった」と率直に認めている。「より賢いモデルに乗り換えれば信頼性が上がる」という発想は、往々にして的外れだということだ。
AIエージェントは、ソフトウェアと同じように失敗する
では、AIエージェントはどこで最初に失敗するのか。Dan氏の答えは明快だ。最初にやることで失敗する。
This is software engineering, right? You write a line of code, you test it, it fails. You fix it, you write the next line of code, you test it, it fails.（これはソフトウェアエンジニアリングと同じだ。コードを1行書いてテストする、失敗する。直してまた次の行を書く、また失敗する）
エージェントのワークフローに対しても、同じ反復プロセスが必要だとDan氏は言う。オーケストレーションのフェーズであれ、推論のフェーズであれ、初めて踏み込むフェーズが最初の失敗地点になる。
エンドユーザーの感覚では「AIは最初から完璧に動いてほしい」となりがちだが、エンジニアリング的には「失敗させて、原因を理解して、次へ進む」というサイクルを回すのが正しいアプローチだ。AIエージェントをブラックボックスとして盲信するのではなく、ソフトウェアと同様に継続的に修正・改善するものとして扱う必要がある。
ベンチマークはあくまで参考値
AIモデルの選定でベンチマークスコアを参照するのは一般的だが、Dan氏はその限界も指摘する。「モデルXはモデルYより○%優れている」という数値は、特定の目的に対してそのモデルが適切かどうかを教えてくれない。
That's where the practitioner, the organization, the person manipulating the tool needs to come in with their experience, their expertise, their domain knowledge.（そこで実践者、組織、ツールを操る人が、自分たちの経験・専門知識・ドメイン知識を持ち込む必要がある）
大量のアウトプットを分析し、自分たちの実験フェーズを通して検証する。その過程でLLMオブザーバビリティ（大規模言語モデルの挙動・性能・コストをリアルタイムで可視化・追跡する取り組み）やLLM実験ツールが重要になってくるとDan氏は述べる。DatadogはLLMオブザーバビリティ機能を自社プロダクトに組み込んでおり、同分野においてNew RelicやArizeといったプレイヤーとともに早期から機能拡充を進めてきた主要ベンダーの一つだ。この文脈でDan氏の発言が出てくるのは自然だが、指摘の内容自体はツール選定に依存しない普遍的な論点だ。
人間はまだループに残り続けるべきか
信頼性の問題と切り離せないのが、ヒューマン・イン・ザ・ループ（human-in-the-loop：AIの判断プロセスに人間が介在し、承認・修正・監督を行う設計方針）の問題だ。Dan氏は現時点では人間の関与が不可欠だとしつつ、将来的には技術の進歩によってその必要性が薄れる可能性にも言及する。
Going forward, that may less and less be the case from a practical perspective. However, there may be legal or jurisdictional reasons for which a human has to remain responsible.（将来的には実用上の必要性が薄れるかもしれない。しかし、法的・管轄上の理由から人間が責任を持ち続けなければならない状況はあり得る）
また、AIが自信満々に間違った答えを返す問題については、情報の出典や判断の根拠を示すトレーサビリティが信頼性の鍵だとDan氏は強調する。どこを調べ、何を見つけ、どう判断したかを示せるモデルは、根拠のない断言をするモデルより遥かに有用だという考え方だ。
まとめ：モデル選択より先にやることがある
Dan氏へのインタビューを通じてこの記事が示す結論は明確だ。AIエージェントの信頼性は、極めて実証的なエンジニアリングの問題であり、モデル選択との関係はほとんどない。
「どのモデルを使うか」に先に頭を向けてしまうチームは、ハーネス設計やテスト反復といったエンジニアリングの問題に後から驚かされることになる。ベンチマーク数値を眺める前に、自分たちのユースケースでアウトプットを観測し、失敗を分析し、ハーネスを磨く——その地道な積み重ねこそが、信頼性の高いAIエージェントを作る実態に近い。モデル選択はその先の話だ。
詳細はDan Maher from Datadog Says AI Agent Reliability Is an Engineering Problem, Not a Model Choiceを参照していただきたい。
