9月3日、Shubhra Mittalが「How Fast Do Agents Rot? An Empirical Study of Long-Horizon Degradation in LLM Agents for Production Decision-Making」と題した論文をarXivに公開した。本番環境で動作するLLMエージェントが長いタスクステップをこなすにつれて成功率が急激に劣化する現象を、1万件超のトラジェクトリを用いて実証的に計測・分析した研究だ。
ベンチマークと本番環境の「見えない溝」
LLMエージェントはベンチマーク上のスコアを着実に伸ばしている。しかし現場のエンジニアが肌で感じる「思ったより動かない」という感覚は、数字で裏付けられていなかった。本論文はその溝を定量化した研究だ。
論文の主張はシンプルかつ痛烈である。ベンチマークは短〜中程度のタスク長（ホライズン）に偏っており、本番ワークロードが要求するステップ数とは桁が違う。その差こそが、スコアと実用性の乖離の主因だという。
「幾何減衰」という残酷な法則
実験は大規模だ。9モデル（パラメータ数1.2Bから671Bのオープンモデル6つ＋商用プロプライエタリシステム3つ。代表例としてはQwen2.5-1.5B相当の小規模モデルからDeepSeek-R1（671B）クラスの大規模モデルまでを含む）、4種のタスクファミリー、5段階のタスク長、3種のコンテキスト条件を組み合わせた制御実験で、合計10,664トラジェクトリを分析している。
得られた知見の核心は「タスク成功率はステップごとに一定の信頼性パラメータで幾何減衰する」という法則だ。各ステップでモデルが正しく行動する確率をpとすると、nステップ後の成功率はp^nに比例して下がる、という単純かつ冷酷な構造である。モデルスケールが上がるとこのパラメータpは改善するが、最強クラスのモデルでも1.0には到達しない。つまり、ステップ数が十分に増えれば、どのモデルも最終的に失敗するのは数学的に避けられない。
特に衝撃的なのがツール使用を含む「真のエージェント的タスク」の結果だ。論文によれば、調査対象のすべてのモデルにおいて、16ステップ以内に成功率が急激に崩落し、タスクによってはほぼ0%に近い水準へ到達した（※開始時点の成功率はモデルおよびタスクの種類によって異なる）。広く実運用されている商用システムも例外ではない。
「コンテキストが長すぎるせい」は間違いだった
劣化の原因として真っ先に疑われるのはコンテキスト長の問題、いわゆる「lost-in-the-middle（文脈の中間部が参照されにくくなる現象）」だ。しかし本研究はその説明を否定する。
コンテキストウィンドウを制限した場合、劣化は緩和されるどころかむしろ急峻になった（ロジット傾き：制限あり -0.69 vs. 制限なし -0.44、p=3×10⁻⁶）。ここでいう「ロジット傾き」とは、ステップ数を説明変数としてタスク成功の対数オッズを回帰したときの傾きであり、値が負で絶対値が大きいほど劣化が速いことを意味する。劣化はコンテキスト長ではなく、ステップ数そのものによって駆動されるというのが結論だ。
これは実務上の重要な警告でもある。「コンテキストを切り詰めてコストを下げる」という本番運用でよく使われるショートカットが、エージェントの信頼性をさらに損なう可能性がある。
ベンチマークスコアの「実質価値」を計算すると
論文はさらに、測定された信頼性パラメータを既存のベンチマークに当てはめ、本番条件とのギャップを定量化している。
- GAIAベンチマーク相当のホライズン：本番換算の成功率は 0.42
- 100ステップ規模の本番ホライズン：成功率は 0.24
つまり、ベンチマーク上で優秀に見えるエージェントでも、100ステップ規模のタスクをこなせる確率は4分の1以下という試算になる。
エンジニアへの実践的含意
論文はコード・プロンプト・乱数シード・生トラジェクトリをすべて公開している。エージェントの信頼性を評価・設計する立場にあるエンジニアに向けた提言は明確だ。
- aggregate pass-rate（全体通過率）だけで評価するな
- タスク長ごとに信頼性がどう変化するかを測る「ホライズン考慮型評価（horizon-aware evaluation）」を導入せよ。具体的には、タスクを複数のステップ長帯に分けてそれぞれの成功率を計測し、短・中・長ホライズンにわたる性能プロファイルを把握することを指す
- 許容できる失敗率から逆算してステップ数を制限する「信頼性バジェット（reliability budget）」を設計に組み込め。たとえば「成功率80%以上を担保したい」という要件があれば、測定された信頼性パラメータから逆算して最大許容ステップ数を導出し、エージェントの行動範囲をそこで打ち切る設計にする
長いタスクをLLMエージェントに任せるシステムを設計・運用しているチームにとって、これらの知見は設計判断の根拠になりうる。
詳細はHow Fast Do Agents Rot? An Empirical Study of Long-Horizon Degradation in LLM Agents for Production Decision-Makingを参照していただきたい。
