Deep Dive

7月19日、Toward Data Scienceが「Your AI Agent Passed Every Eval. Finance Still Killed It.」と題した記事を公開した。品質評価を全項目でクリアしたAIエージェントが、コスト面を理由にCFOに却下された実例を通じ、エージェント評価フレームワークに欠けている「単位経済性」の計測という盲点について詳しく論じている。「全指標グリーン」でも潰されたエージェントある中堅SaaS企業が、請求・アカウント対応チケットを処理する顧客オペレーション向けAIエージェントを構築した。タスク完了率、忠実性、検索精度、ツール呼び出し精度、レイテンシ、ハルシネーション率——12指標すべてが目標値内に収まっていた。エージェントは、評価ハーネスが追跡するあらゆる尺度で「正常稼働中」だった。しかしCFOがレビューで示した数字はシンプルだった。エージェントが試みて失敗したチケットを含む、1件あたりの解決コストが、人間がこなしていたときより高い。エンジニアリング責任者は「品質指標はすべてグリーンだ、エージェントのほうが正確だ」と反論した。それは事実だ...