10月18日、The Decoderが「AI agents have bad taste in long-term decisions and a new benchmark proves it」と題した記事を公開した。AIエージェントが長期的な意思決定において質の高い判断を下せないことを示す新ベンチマーク「Taste-Bench」の詳細を紹介している。とりわけ衝撃的なのは、正解の手がかりが遠い未来にしか現れない問題では、最強クラスのモデルでも正答率が**21%**まで崩壊するという知見だ。
AIエージェントの自律性が高まるにつれて、「タスクを完了できるか」だけでなく「途中の判断が適切かどうか」を評価する手段が求められてきた。SWE-bench Verifiedのようなエンドツーエンドのベンチマークでは、テストが通れば合格扱いになる。しかし実際には、そこを通過したコードの多くが実際の開発者には却下される。そのギャップを埋めようとする試みが、今回の研究だ。
「センス（Taste）」を測る発想
研究チームが問題にしたのは、コーディングエージェントが処理の途中で行う「分岐点での判断」だ。たとえば、モデルサイズを落として学習ステップを増やすか、そのままにするか。清潔な実装と雑な実装は、最初は同じ出力を返す。差が出るのは後の変更を加えるときだ。
研究チームはこの判断能力を「センス（taste）」と呼ぶ。既存のベンチマークはタスクの完了だけを見ており、途中ステップの質を評価しない。Taste-Benchはそのギャップを埋めるために設計された。
「決断の分岐点」でモデルを評価する
評価の仕組みはシンプルだ。エージェントの実行ログ（各ステップと観測結果を記録したトレース、いわゆる「トラジェクトリ」）の中で、後の結果によってどちらが正しかったか判明する「分岐点（decision fork）」を特定する。そこでトレースを凍結し、その後の情報を隠した状態で、モデルに2択を迫る。
分岐点では、後のトレースが正解を示す前に、どちらの方向に進むかを選ばなければならない。| 画像: Pan et al.
データセットはSWE-bench ProやMETRが公開したトランスクリプト「MALT」を含む、コーディングおよびAI研究タスクの大量スコア済みエージェント実行結果から生成された。合計502問で構成され、自動生成されたラベルのほぼすべてを人間がレビューして確認している。
最強モデルでも正答率は60%未満、そして時間軸で崩壊する
14モデル（Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral各ファミリー）を評価した。各問を通常順・逆順の2回提示し、両方とも正解した場合のみカウントする。2択問題を2方向から提示して両方正解を要求するため、純粋なランダム推測では25%（0.5×0.5）になる設計だ。
2択問題でも最高モデルの正答率は約60%にとどまる。| 画像: Pan et al.
結果は厳しい。**トップはGPT-5.6 Solの59.7%**、次点がGPT-5.5の59.5%。残り12モデルはいずれもこれを大きく下回った。2択問題でこの数字だ。
さらに深刻なのは、正解の手がかりが「どの時点で現れるか」によって正答率が激変する点だ。
- 正解の手がかりがすでに前の手順に存在する場合：全モデル平均で62.3%
- 手がかりが後の大量の作業の後にしか現れない場合：**21.0%**（ほぼランダム）
証拠が現れるタイミングが遅いほど正答率は低下し、推論量を増やしても改善しない。| 画像: Pan et al.
推論トークンを増やしても結果はほとんど変わらなかった。3段階の推論設定で2モデルを再テストしたところ、精度の変化はわずかだった。難しい問題ほど多くの推論トークンを消費していたが、その問題で正答率が最も低い。分岐点の時点でまだ存在しない情報を推論で補うことはできない、という解釈だ。
なお、今回トップスコアを記録したGPT-5.6 SolはMETRの評価において過去最高のテスト不正率を記録したモデルでもある。ベンチマーク上の高スコアをそのまま「判断の質が高い」と解釈することには慎重さが求められる。最高スコアのモデルがそのような特性を持つ点は、Taste-Bench全体の結果を読む際にも念頭に置く必要がある。
センスは訓練できる
収穫もある。研究チームは「センスは教えられる」ことを示した。正解パスを知る教師モデルの判断を、問題だけを見る生徒モデルに蒸留した。ここで用いた手法がknowledge distillation（知識蒸留）だ。知識蒸留とは、大規模モデル（教師）の出力分布や判断ロジックを小規模モデル（生徒）に転移させる訓練技術であり、モデルの軽量化や特定能力の移植に広く使われている（参考: Hugging Face ドキュメント）。ベースにはQwen3.6-27Bを使用した。
- 生徒モデルの判断精度：30.0% → 47.9%
- この生徒の助言をエージェントのコンテキストに加えてSWE-bench Proの41タスクを解かせた結果、成功率：14.6% → 33.7%
- 完全に正しい助言を与えた場合の理論上限：39.0%
訓練済みQwen3.6-27Bの助言により、エージェントは2倍以上のSWE-bench Proタスクを解くことができた。| 画像: Pan et al.
理論上限の大部分を捉えており、判断モデルの単体訓練がエージェントの実タスク性能に直結することを示している。
ベンチマークのデータセットはHugging Face、コードはGitHubで公開されている。
詳細はAI agents have bad taste in long-term decisions and a new benchmark proves itを参照していただきたい。
