11月4日、StartupHubが「Without cache, AI agents cost 10x more」と題した記事を公開した。AIエージェントのコストにおいてキャッシュの有無が最大10倍以上の差を生むという実測データを、Artificial Analysisの共同創業者George CameronがAI Engineerのセッションで公開したものだ。
キャッシュなしで$21→$200超：10倍コストの実態
AIエージェントがLLMを繰り返し呼び出す「長期タスク」においてコスト設計が重要課題になっている中、具体的な数字でその実態を示したのがCameronだ。同氏は自社のエージェントベンチマーク「AA Briefcase」の実測値を公開した。
AA Briefcaseは、エージェントが数千のファイルを横断してレポートやプレゼンを作成するワークロードだ。Anthropicの最新フラッグシップモデルであるClaude Opus 5.5を使った場合、1タスクあたりの平均ステップ数は165回、1回のモデル呼び出しコストは約13セント。
- キャッシュあり：**$21**／タスク
- キャッシュなし：**$200超**／タスク
その差は約10倍。内訳を見ると、アウトプットトークンは約2セントと小さく、コストの大半を占めるのはインプットトークン、とりわけキャッシュがどれだけヒットするかだ。
ここで言う「プロンプトキャッシュ」とは、過去のモデル呼び出しで処理済みのプロンプト（コンテキスト）をプロバイダー側のKV-cache（Key-Valueキャッシュ）に保持しておき、次回以降の呼び出しでその計算を再利用する仕組みだ。エージェントのように同一コンテキストを何度も参照するユースケースでは、キャッシュヒット率が実質的なトークン処理コストを決定づける。Cameronはこの結果を受け、キャッシュヒット率を推論コストの中核指標として公開するようになったと述べた。
モデル選択で100倍の価格差
同じベンチマークで、モデルごとのコスト差も明らかになった。
| 価格帯 | 代表モデル | 1タスクあたりコスト |
|---|---|---|
| 高コスト | 主要プロプライエタリモデル（OpenAI・Anthropic上位） | $5以上 |
| 中間 | GLM 5.3 Flash、Luna | 約7セント |
| 低コスト | 安価なモデル群 | 5セント以下 |
Cameronは、「Luna」と呼ぶモデルについて「すでにGPT-4より強く、GPT-3.5 Turboより大幅に優れている」と評価した。ただし「Luna」の提供元や詳細については元記事中に明示的な言及がなく、現時点では追跡可能な公式情報が確認できない。GeminiやGLMなどのオープンウェイト系は「知性 vs コスト」のパレート曲線の左側（安価寄り）に位置し、プロプライエタリモデルとの性能差は現時点で3〜9ヶ月程度だとCameronは述べた。
コストは1年で10分の1になるペース（Cameronの予測）
価格の下落速度も記録的だ。Cameronによれば、Intelligence Index（知性指数）スコア30のモデルへのアクセスコストは1年前に$1超だったものが現在は約10セントまで下がっている。これは実測値に基づくトレンドだ。
さらにCameronはこのトレンドを外挿した予測として、今日のフロンティア価格での**$100万のワークロードが、1年後には$10万、2年後には$1万**まで低下する可能性があると述べた。あくまで過去のコスト下落ペースを延長した推計であり、実際の市場動向や技術的制約によって変動しうる点には留意が必要だ。
数字が語らないこと：本番環境でのキャッシュヒット率
注意すべきは、$21という数字がキャッシュが正常に機能している前提の値だという点だ。実際には以下の要因でキャッシュヒット率は大きく変わる。
- プロンプトキャッシュの実装方式がプロバイダーごとに異なる（例：AnthropicのプロンプトキャッシュとOpenAIのPrompt Cachingでは仕様が異なる）
- VLM（ビジョン言語モデル）構成での扱いの差異
- メッセージ履歴の管理方法の違い
Cameronは「プロバイダーごと・ワークロードごとに監査済みのキャッシュヒット率を公開するか、あるいはターン数が大幅に少ないエージェント設計に移行することが、トークン単価の変化よりもはるかに大きくコスト読みを変える」と指摘した。
つまり、AIエージェントのコスト設計においてプロンプトキャッシュは最適化の最優先項目であり、ヒット率の計測と公開が今後の標準的なインフラ指標になりうる。
詳細はWithout cache, AI agents cost 10x moreを参照していただきたい。
