6月13日、NVIDIAが「NVIDIA Achieves Leading Agentic Coding Performance on First Agentic AI Benchmark」と題した記事を公開した。業界初のエージェント型AIベンチマーク「AA-AgentPerf」において、NVIDIA GB300 NVL72が前世代H200と比べ1MWあたりの同時エージェント数で最大20倍を達成したという内容だ。
業界初の「エージェント型AIベンチマーク」とは何か
AIエージェントの普及により、推論（inference）ワークロードの性質が根本的に変わっている。従来の「1リクエスト→1レスポンス」とは異なり、エージェントはLLMの判断に基づいてツール呼び出しや多段階の推論を繰り返す。この非決定論的なワークロードを正確に測定する共通指標が、業界にはこれまで存在しなかった。
Artificial Analysisは、AIモデルやインフラの性能を独立した立場で評価・比較する分析機関だ。同組織が開発したAA-AgentPerf（以下AgentPerf）は、この問題に初めて正面から取り組んだマルチベンダー対応のオープンベンチマークである。測定の核心は「あるインフラが、定義済みのSLO（サービスレベル目標）を満たしながら何台の並行エージェントを処理できるか」という点にある。
SLOは出力トークン速度（P25）と初回トークンまでの時間（TTFT、P95）の2軸で定義される。テストには元記事に記載のモデルが使用され、以下の3段階のSLOティアが設定された：
| SLOティア | P25出力速度（トークン/秒） | P95 TTFT（秒） |
|---|---|---|
| SLO #1 | 30 | 10 |
| SLO #2 | 100 | 5 |
| SLO #3 | 300 | 3 |
結果は1MWあたりの同時エージェント数に正規化されており、データセンター規模でのキャパシティプランニングに直結する指標となっている。
ベンチマーク設計の肝：非決定性をどう再現するか
エージェント型ワークロードの測定で最も難しいのは、LLMが生成する非決定的な行動シーケンスをどう再現するかだ。AgentPerfは事前に記録したエージェントの軌跡（trajectory）を使うことでこれを解決している。
軌跡は公開コードリポジトリの課題解決タスクから構築されており、12以上のプログラミング言語、フロンティアモデルの応答を網羅する。主な設計上の工夫は以下の通りだ：
- シーケンス長：リクエストは5K〜131Kトークン、平均約27Kと長文寄り
- ツール呼び出しの模倣：CPU側のツール実行を中央値1秒の遅延分布でシミュレート。全システムで同一のCPUベースラインを適用することで公平性を担保
- テストセット非公開：ベンチマークに最適化した作り込みを防ぐため、テストデータは非公開
GB300 NVL72が前世代H200の最大20倍を達成
今回の結果で最も注目すべき数字は、NVIDIA GB300 NVL72がH200と比較して1MWあたりの同時エージェント数で最大20倍を達成した点だ（SLO #1の条件下）。
| 指標 | GB300 NVL72 | H200 |
|---|---|---|
| 同時エージェント数/MW | 61,400 | 2,600 |
| 同時エージェント数/GPU | 57.5 | 1.4 |
この性能差を生む主な技術要素として、記事では以下が挙げられている：
- SGLang / TensorRT-LLM / vLLM：WideEPやDeepEPといった最適化により、MoE（Mixture of Experts）のエキスパート実行をNVL72の全ドメインに分散。大規模バッチ処理を効率化
- DeepGEMM・Mega MoE最適化：MXFP4/MXFP8カーネルとMoEのフューズドオーバーラップにより、NVLink通信とテンソルコア計算を並列化してトークンスループットを向上
- NVLinkスケールアップドメイン：72基のGPUを単一の高帯域NVLinkファブリックで接続。KVキャッシュやパラメータの高速共有が、多数の並行エージェントセッションを支える
MoE（Mixture of Experts）とは、入力ごとに一部のモデルパラメータのみを活性化させるアーキテクチャで、DeepSeekなどの大規模モデルで採用されている。エージェントワークロードでは多数のリクエストが飛び交うため、このMoEのルーティング効率がシステム全体のスループットを左右する。
次世代Vera Rubinプラットフォームへの展望
NVIDIAは今後、Vera Rubinプラットフォームでさらなる性能向上を目指す。50 PFLOPsのNVFP4演算能力と、Vera CPUによるLLMツール呼び出しの高速化によって、エージェントワークロード全体の効率と経済性を改善する予定だとしている。
AgentPerfがオープンベンチマークとして公開されたことで、ハードウェアベンダー間の横断比較が可能になる。エージェント型AIシステムのインフラ選定において、このベンチマークが実質的な標準指標として機能するかどうかは、他ベンダーの参加状況にかかっている。
詳細はNVIDIA Achieves Leading Agentic Coding Performance on First Agentic AI Benchmarkを参照していただきたい。
