8月18日、Techstrong.aiが「Agentic Inference Costs to Rise Fivefold Even as Tokens Get Cheaper, Gartner Says」と題した記事を公開した。この記事では、トークン単価が下がり続けるなかでも、AIエージェントの推論コストが2028年までに5倍以上に膨らむというGartnerの予測について詳しく紹介されている。
「トークンが安くなるのにコストが上がる」逆説
Gartnerが2026年8月17日に公開したリサーチ（一部コンテンツへのアクセスにはGartnerの登録が必要な場合がある）の核心は、一見矛盾した予測だ。トークン単価が低下するほど、より高性能なモデルの採用が進み、結果として消費トークン数が増え、総推論コストが上昇するという「推論のパラドックス（inference paradox）」が起きるという。
ここでいうLLM（大規模言語モデル、Large Language Model）とは、GPTやClaudeに代表される大規模なニューラルネットワークベースの言語モデルのことを指す。そしてAIエージェントとは、こうしたLLMを中核に据え、ツール呼び出しや外部サービスとの連携を自律的に行いながら複雑なタスクを実行するシステムだ。エージェントワークフローはそのような一連の処理手順を指す。
AIエージェントは単純なプロンプト・レスポンスのやり取りとは異なり、タスクを何度も推論し、ツールを呼び出し、結果を評価し、次のステップを自律的に決定する。Gartnerによれば、推論型エージェントへのタスクルーティングは、基本的なチャットボット対話と比較して少なくとも5倍のコストをプロバイダーに課す。推論ステップとツール呼び出しが増えるたびに、必要な計算量が積み上がるためだ。
今年3月にGartnerが出した別の予測（同様に登録が必要な場合がある）では、1兆パラメータ規模のLLMの推論コストが2025年比で2030年には90%以上削減されるとされていた。半導体の進化、インフラ改善、モデル設計の効率化がその根拠だ。しかし今回の予測は、その効率化で生まれるコスト削減分を、高度化するエージェントワークフローが吸収してしまう可能性を示している。つまり、「安くなった分だけ高度な処理に使われる」という需要側の変化が、供給側の効率化を相殺するという構図だ。
ソフトウェア開発領域で顕在化するコスト圧力
推論のパラドックスが現実の問題として最も早く表面化しやすい領域として、Gartnerがコスト圧力の具体例に挙げるのがソフトウェア開発分野だ。コーディング支援はAIエージェントの代表的なユースケースであり、エージェントが自律的にコードを生成・レビュー・修正するほど、1タスクあたりの推論ステップ数は増加する。この構造的な特性が、コスト膨張の温床になりやすい。
同社は今年6月、AIコーディングのコストが2028年までに平均的な開発者の年収を超えるという予測（同様に登録が必要な場合がある）も公開している。ここで課金モデルの変化も重要な背景となる。従来のシート課金（ユーザー数に応じた定額制）から、実際のトークン消費量に応じて費用が変動する消費量ベースの課金モデルへの移行が進むなかで、コストの変動性が高まり、予測・管理が難しくなっているという。
さらに、コーディングエージェントに過剰な自律性や不要なコンテキストを与えると、トークン消費量が無駄に膨らむことも指摘されている。Gartnerはトークン閾値の設定とモニタリングによって高消費ワークフローを早期に検出することを推奨している。
コスト最適化の手段：「推論ティアリング」
対策としてGartnerが推奨するのが推論ティアリング（inference tiering）だ。これは、ワークフローの各ステップに求められる能力のレベルに応じて、異なる性能・コストのモデルへタスクを振り分けるアプローチを指す。単純なタスクは小型・低コストのモデルに、高度な判断が必要な処理だけを高コストのモデルに回すことで、全体の推論コストを抑制する。
Gartnerのシニアディレクターアナリスト、Will Sommerは次のように警告している。「安価なトークンだけに依存して高度なAIをコスト効率よく運用することはできない。能力を一段引き上げるたびに、より多くのコストのかかる推論が必要になる」。また、汎用的な自律型AIに頼るよりも、モデルの組み合わせを慎重に設計・最適化した構成の方が大幅にコストを抑えられると述べている。
「トークン単価」より「ワークフロー完了コスト」で測れ
Gartnerが示す本質的なメッセージは、コスト指標の転換だ。個々のトークン単価ではなく、「ワークフローを1件完了するコスト」こそが実態を反映した指標になるという。
エンタープライズにとって、高度な推論エージェントへの投資が報われるのは、その推論コストに見合うビジネス価値が生まれる場合に限られる。Sommerは「推論エージェントは基本的なモデルよりも指数関数的に高いリターンを生む必要がある」と述べ、コストに対するROIの基準が大きく上がることを示唆している。トークン単価の低下を「コスト削減」と単純に読み替えることなく、エージェントの処理設計そのものを見直す視点が、企業のAI導入戦略において今後ますます重要になるだろう。
詳細はAgentic Inference Costs to Rise Fivefold Even as Tokens Get Cheaper, Gartner Saysを参照していただきたい。
