powered by TechFeed
表示モード
Deep Dive

LLMへの入力トークンはコストが「二次加速」する — エージェント設計者が知っておくべきコンテキスト長とエネルギー消費の関係

11月20日、Lars Kruppらが「The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases」と題した論文を公開した。LLMのプリフィル(入力処理)・デコード(出力生成)フェーズにおける計算時間とエネルギー消費を定量的にモデル化し、コンテキスト長がエネルギーコストに与える影響を実測データから導出した研究だ。著者はLars Krupp、Daniel Geißler、Francisco M. Calatrava-Nicolas、Stefan Gerd Fritsch、Paul Lukowicz、Jakob Karolusの6名で、2025年10月29日に初稿(v1)が投稿され、2025年11月19日に改訂版(v2)が公開された。なお、arXivのID「2610.39621」はフォーマット上「2026年10月」を示唆するが、実際の投稿日は2025年10月29日であり、IDと投稿日の間に形式上の不一致がある点は留意されたい。

11月20日、Lars Kruppらが「The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases」と題した論文を公開した。LLMのプリフィル(入力処理)・デコード(出力生成)フェーズにおける計算時間とエネルギー消費を定量的にモデル化し、コンテキスト長がエネルギーコストに与える影響を実測データから導出した研究だ。著者はLars Krupp、Daniel Geißler、Francisco M. Calatrava-Nicolas、Stefan Gerd Fritsch、Paul Lukowicz、Jakob Karolusの6名で、2025年10月29日に初稿(v1)が投稿され、2025年11月19日に改訂版(v2)が公開された。なお、arXivのID「2610.39621」はフォーマット上「2026年10月」を示唆するが、実際の投稿日は2025年10月29日であり、IDと投稿日の間に形式上の不一致がある点は留意されたい。


なぜ今、この研究が重要か

LLMをエージェント型アーキテクチャ(複数のモデルやツールを連携させて自律的にタスクをこなす構成)に組み込む動きが広がっている。こうしたシステムでは、過去の会話履歴やツールの出力、外部ドキュメントといった大量のコンテキストをプロンプトに詰め込むのが常態化しており、トークン消費量が従来の用途と比べて桁違いに増えている。RAG(検索拡張生成)を活用する構成では特にその傾向が顕著で、数千〜数万トークンに及ぶ入力が珍しくない。

ところが、エネルギー消費の推計は難しい。特にAPIベースのプロプライエタリモデルでは内部の計算リソースにアクセスできない。既存の研究も、主に出力トークン数に着目しており、大規模な入力コンテキストが消費するエネルギーはほとんど考慮されてこなかった。LLMの環境負荷を論じた先行研究(Strubell et al., 2019など)においても、推論フェーズの入出力非対称性は十分に掘り下げられていない領域だった。


入力トークンのコストは「線形+二次」で急加速する

本研究の核心はここだ。Lars Kruppらは、幅広いプリフィル長・デコード長の組み合わせで計算時間とエネルギー消費を実測し、一般化線形モデルでスケーリング則を導出した。

結果は以下の通りだ:

  • デコード(出力)フェーズ:計算時間・エネルギーともに出力トークン長に対して線形にスケール
  • プリフィル(入力)フェーズ:計算時間・エネルギーが入力トークン長に対して線形+二次(quadratic) のスケーリングを示す

後者が重要な含意を持つ。「線形+二次」とは、コストが入力長 n に対して an + bn² の形で増加することを意味する。入力が短い段階では線形項が支配的だが、コンテキストが長くなるにつれ二次項が急速に効いてくる。たとえば、入力を2倍にした場合、線形成分は2倍になる一方で二次成分は4倍になるため、全体のコストは2倍を大きく超えて増加する。エージェントが長いシステムプロンプトや大量のRAGコンテキストを扱う場合、この加速が顕著になり、入力コンテキストの削減がエネルギーコスト削減に直結する。

Transformerのself-attention機構はトークン数の二乗に比例する計算量を持つことが知られており(Vaswani et al., 2017)、今回の実測結果はその理論的性質を現実のエネルギー消費として確認したものとも言える。


計算時間はエネルギーの代理指標になる

もう一つ実用的な知見として、計算時間(compute time)がエネルギー消費の信頼できる代理指標として機能することが示された。

直接的なエネルギー計測ができない環境(APIモデルの利用など)でも、レイテンシからエネルギーを推計できる可能性を示している。これはAPIコスト管理やサステナビリティ評価のツールとして使えるフレームワークだ。AIシステムの環境負荷の可視化・報告を求める動きが欧米で高まっている文脈において、計測インフラを持たない組織にとっても実用的な手がかりになりうる。


エージェント設計への実践的な示唆

研究者らはこの成果を「エージェント型AIの持続可能なデプロイメント判断を支援するマッピングフレームワーク」と位置付けている。

具体的に言えば:

  • プロンプトに詰め込むコンテキスト量を減らすことが、単なるレイテンシ削減だけでなくエネルギー削減にも有効
  • 長いコンテキストを扱うワークロードでは、入力長のコストを出力長と同等以上に考慮すべき
  • エネルギー計測環境がない場合でも、計算時間の計測でエネルギー推計が可能

エージェントのループ設計でコンテキストウィンドウをどう管理するか——たとえば要約によるコンテキスト圧縮やRAGの取得件数の絞り込みといった施策が——エネルギーコストの観点からも正当化できる定量的根拠が、この研究で初めて整備されたと言える。コンテキスト管理の設計判断をコスト計算に落とし込もうとしているエンジニアにとって、参照すべき論文の一つになるはずだ。


詳細はThe Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phasesを参照していただきたい。