11月17日、Aaron J. Liuらが「TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient」と題した記事を公開した。この記事では、AIコーディングエージェントが過去のセッション履歴から学習することでトークンコストを削減するプラグイン「TokenEconomizer」について詳しく紹介されている。
「毎回ゼロから始める」問題
AIコーディングエージェント(GitHub CopilotやClaude Codeのような、タスクを自律的に実行するAIシステム)は、実行のたびにモデルへ大量のテキストを送信する。その内容は、指示、ツールの説明、セッション履歴など多岐にわたる。問題は、エージェントが毎セッション同じリポジトリに戻ってくるにもかかわらず、毎回ゼロから学び直す点にある。
AIコーディングエージェントの利用が実務に広がるにつれ、トークンコストはチームにとって無視できないランニングコストになりつつある。大規模なコードベースを扱う場合、1タスクあたりのトークン消費はさらに膨らむため、効率化の余地を体系的に探ることが急務となっている。
研究チームがClaude Codeを使ってSWE-Bench(オープンソースPythonプロジェクトの実バグ修正ベンチマーク)の60タスクを分析したところ、3種類の無駄が繰り返し発生していた。
- 同じ事実の再発見:5件以上のタスクが蓄積されたリポジトリでは、ツール呼び出しの**30%**が同リポジトリの過去タスクと重複していた
- 使われないツールへの課金:エージェントは毎ターン23種類のツール説明を受け取るが、そのうち16種類は一度も呼び出されなかった
- 失敗ループへの浪費:失敗したタスク(全体の17%)が、コスト全体の**32%**を消費していた
TokenEconomizerの仕組み
UC Berkeley・Microsoft Research・Microsoft Securityの共同研究から生まれたオープンソースプラグイン「TokenEconomizer」は、エージェントやその基盤モデルを一切変更せず、3つのメカニズムでこの無駄を削減する。
1. マイクロスキル(Micro-skills)
セッションのログを読み取り、リポジトリ固有の知識を1行のメモとして蓄積する。たとえば「このリポジトリのテストはpytestで実行する」といった知識だ。元記事では、こうした知識は複数セッションにわたってパターンが確認された場合にのみエージェントの起動コンテキストへ追加されると説明されている。さらに、後続セッションで矛盾する証拠が観測された場合はそのマイクロスキルを廃棄する仕組みも備えており、学習したことを盲目的に押しつけない設計になっている。
2. ツールプルーニング(Tool pruning)
過去のリポジトリ履歴に基づき、使われる可能性の低いツールをロードしないようにする。コマンド実行やファイル編集などのコアツールは常に保持されるが、不要なツールの説明文をトークンとして送らずに済む。ただし、必要になれば復元可能だ。
3. 失敗ループ介入(Failure-loop intervention)
エージェントが同じエラーに繰り返し衝突している場合、別のアプローチを提案するメモを挿入する。ジャッジモデルが「本当に詰まっているのか、それとも進行中なのか」を判断した上で介入するため、不必要な割り込みを避ける。介入後もスタックしたままであれば、開発者にアラートを上げる(自動で処理を止めるわけではない)。
実験結果:コストは18〜30%削減、性能は維持
評価は6つのリポジトリから277件のSWE-Benchタスクを使い、5種類のAIコーディングエージェントとモデルの組み合わせで実施された。結果として6リポジトリ×5エージェントの計30通りの組み合わせすべてで、性能を落とさずにコスト削減を達成している。TokenEconomizerはいずれのリポジトリでも事前の履歴なしからスタートしている。
結果は以下の通りだ。
- 平均コスト削減率:18.4〜30.9%
- 上記30通りの組み合わせすべてで、性能を落とさずにコスト削減を達成
- Pass@1(1回で正解するタスク成功率)は5エージェント中4つで上昇
- 累積コストは、全リポジトリで6タスク目までにデフォルト比でマイナスに転じる
比較として、モデルの推論努力を下げる(reasoning effortを落とす)アプローチも検証されたが、こちらは同程度のコスト削減が得られる一方で性能が大幅に劣化した。
Webアプリ開発の逐次タスクを扱うWeb-Benchでは**16.0〜21.2%のコスト削減、セキュリティ監査タスク(毎タスクが新規リポジトリ)でも6.4〜19.6%**の削減が確認されており、リポジトリに跨るシナリオでも一定の効果がある。
実用上のポイント
プラグインはエージェントの基盤モデルを変更しない。独自のAPIキーも不要で、学習内容はすべて開発者のマシン上に保持される。既存のコーディングエージェントとそのまま併用できる設計だ。
コードはGitHubで公開されており、論文はTokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agentsとして読むことができる。
詳細はTokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficientを参照していただきたい。




