8月13日、Semiconductor Engineeringが「From Tokens To Tasks: Why Agentic AI Changes The Infrastructure Conversation」と題した記事を公開した。エージェントAIの台頭によってAIインフラの評価軸が「トークン生成速度」から「タスク完遂効率」へと移行しつつある点を論じた内容だ。なお本記事はArmが寄稿・提供したスポンサードコンテンツであり、Armの視点から構成されている点を念頭に置いて読んでほしい。
「1プロンプト」の裏側で何が起きているか
記事はあるシナリオから始まる。開発者がAIコーディングエージェントに「テストの失敗を直してくれ」と一言入力する。数秒後、修正済みのパッチと変更サマリーが返ってくる。ユーザーには「魔法」のように見えるが、その裏側では以下のような処理が連鎖している：
- リクエストのパース・タスク生成・ポリシーチェック
- リポジトリ検索・コンテキスト組み立て・トークナイズ
- モデル呼び出し・ツール検証・サンドボックスルーティング
- ファイル編集・テスト実行・テレメトリ収集・最終検証
モデル呼び出しは処理の一部に過ぎない。本当の難しさはタスクグラフ全体のコーディネートにある。
これが、従来の推論インフラとエージェントAIインフラの本質的な違いだ。
トークン毎秒では測れない世界
チャットボット時代のAIインフラ評価指標は「トークンスループット」「TTFT（最初のトークンが返るまでの時間）」「バッチング効率」など、モデル実行に集中していた。
エージェントAIでは、この視点では不十分だと記事は主張する。
開発者が本当に気にするのは「バグが見つかったか」「パッチは正しかったか」「テストは通ったか」「権限は守られたか」である。つまり、評価すべき指標はモデルの速度ではなくタスクの成否だ。
記事が提唱するエージェントAI向けの指標は以下の通り：
- コスト／完遂タスク数（cost per completed task）
- ツール呼び出しレイテンシ
- 検索（RAG）レイテンシ
- サンドボックスの起動時間
- ノードあたりの同時エージェント数
「モデルはどれだけ速くトークンを生成したか？」から「システムはどれだけ効率よくタスクを完遂したか？」へ——問いそのものが変わる。
CPUが「縁の下」から「主役」へ
記事が特に力を入れて論じているのが、エージェントAIにおけるCPUの役割だ。
モデル呼び出しの前後に走る処理——コンテキストのランキング、ポリシー適用、ツール呼び出しのルーティング、サンドボックス管理、テスト実行、失敗分類、リトライ判断——はすべてCPUが担う。
コーディングエージェントの例で言えば、モデルが修正案を出した後の処理（コンパイル、テスト実行、失敗分類）が最もCPUに負荷をかける場面になりうる。
GPUはモデル実行に不可欠だが、その周辺処理がシステム性能を決定する。CPUはオーケストレーション、メモリ・検索、ツール呼び出し、ランタイム・サンドボックス、ポリシー、オブザーバビリティを担う。モデルが「知性」を提供し、周辺システムがその知性を「行動」に変える。
ヘッドノードがコントロールポイントになる
エージェントシステムがスケールするにつれ、ヘッドノードの役割が戦略的に重要になると記事は述べる。
ヘッドノードとは、CPU・GPU・アクセラレータ・メモリ・ストレージ・ネットワーク・API・ポリシーシステムなど異種混在のコンポーネントを「1つの信頼できるサービス」として振る舞わせるための制御点だ。具体的な機能は：
- リクエストのルーティングと状態管理
- コンテキストの準備とアクセラレータの調整
- API・ツール処理とポリシーの適用
- テレメトリ収集とワークフローのオブザーバビリティ
記事はArmの視点からこの文脈を論じており、Arm Neoverse IPやCompute Subsystems（CSS）、さらにエージェントAIインフラ向けとして新たに発表されたArm AGI CPU（arm.com製品ページ参照）をヘッドノード用計算基盤として位置づけている。
「次の基準はタスクの完遂」
記事の結論は明快だ。プロンプト応答時代にはモデル性能が評価の中心だったが、エージェント時代にはシステム全体——知性・メモリ・ツール・状態管理・ポリシー・実行・検証・オブザーバビリティ——を最適化できるかが問われる。
次世代のAIインフラは、タスクを「速く・正確に・安全に・観測可能な形で・効率よく」完遂できるかどうかで判断される。
GPUを否定する議論ではない。タスクグラフ全体を最適化できるインフラが、トークンストリームだけを最適化するインフラより有利になるという主張だ。
詳細はFrom Tokens To Tasks: Why Agentic AI Changes The Infrastructure Conversationを参照していただきたい。
