10月23日、NVIDIAが「Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes」と題した記事を公開した。この記事では、NVIDIA DGX Sparkを最大8ノードクラスター構成にすることで、1TBの統合メモリを活用しフロンティアクラスの大規模AIモデルをローカル環境で動作させる方法について詳しく紹介されている。
DGX Sparkとは何か：ローカルAI開発環境の新カテゴリ
NVIDIA DGX Sparkは、デスクサイドに設置できるAI専用ワークステーションだ。一般的なゲーミングPCやクリエイター向けPCとは異なり、NVIDIAのGrace Blackwellアーキテクチャを搭載し、CPUとGPUが巨大な統合メモリを共有するという設計を持つ。1ノードあたり128GBの統合メモリと高帯域幅メモリバスを備えており、大規模言語モデルの推論・ファインチューニング・事前学習を単体でこなせる点が特徴だ。
従来、数百億パラメータ規模のモデルをローカルで動かすにはデータセンターのGPUサーバーが必要だった。DGX Sparkはその壁をオフィスや研究室レベルに引き下げる製品カテゴリとして位置づけられており、今回の記事はそのDGX Sparkを複数台クラスター化することでさらに上の領域、すなわち700B超のフロンティアモデルをローカルで動かすことが現実的になったことを示す内容だ。
8ノードで1TB、ローカルで動く750Bモデル
DGX Sparkは1ノードあたり128GBの統合メモリを持つ。これを8台クラスター化することで合計1TBの統合メモリが利用可能になる。この容量が何をもたらすかというと、4ノード（512GB）では起動すらできなかったモデルが動くようになる。具体例として記事が挙げているのが、ZhipuAIのGLM 5.3（753Bパラメータ）の完全チェックポイントだ。
NVFP4量子化で約470GBのサイズとなるこのモデルを8ノードクラスターで動かした計測結果が以下だ。
| 同時接続数 | Prefill 合計 (TPS) | Prefill ユーザーあたり (TPS) | Decode 合計 (TPS) | Decode ユーザーあたり (TPS) |
|---|---|---|---|---|
| 1 | 1,600 | 1,600 | 31 | 31 |
| 4 | 1,600 | 750 | 51 | 21 |
| 8 | 1,600 | 473 | 67 | 18 |
モデル: nvidia/GLM-5.3-NVFP4、MTP3使用、Prefillは8Kトークン入力長で計測
表中のDecode TPSは全ユーザー分の合計スループットを示す。同時接続数が増えるほど合計Decodeスループットが向上している点が確認でき、クラスター構成での並列処理の恩恵が出ている。また、GLM 5.3のFlashバリアント（より軽量な蒸留版）では1ユーザーあたり約80トークン/秒のDecodeスループットを計測しており、インタラクティブな開発用途に十分な速度だとしている。
ROCEnante：スイッチ接続向けのカスタムcollectiveバックエンド
テンソル並列推論（Tensor-parallel inference）では、ノード間でall-reduceと呼ばれる集合通信が頻繁に発生し、これがレイテンシのボトルネックになる。NVIDIAはこの問題に対し、RoCEnanteと呼ぶSparkクラスター向けに最適化したcollectiveバックエンドを開発した。
RoCEnanteの仕組みはシンプルだ。各ランクが自身の入力データを全ピアに直接送り、ローカルで集約する「all-to-all交換＋ローカルreduction」方式を採る。これにより、従来のring all-reduceが複数ラウンドにわたってデータをバケツリレーする必要がなくなり、小さいメッセージサイズ・少ないランク数の条件下でレイテンシを削減できる。
Figure 1. スイッチトポロジー、Qwen3.8-27B-NVFP4使用。8ノードでROCEnante有りが4.43x、無しが3.05x。45%のスケーリング効率改善。
実測では、4ノードでprefillが約5%、decodeが約21%向上、8ノードでは非量子化モデルのdecodeが約18%向上している。ただし、このバックエンドはスイッチ接続（直接P2P通信が可能な構成）専用だ。ノード数や同時接続数が増えるほどデータ転送量が増大するため、大規模構成ではNCCLが引き続き推奨される。RoCEnanteはFlashInferにマージ済みで、起動テストが失敗した場合はNCCLに自動フォールバックする。
トポロジー別スケーリング実測値
Qwen3.8-27B（NVFP4）をspeculative decoding無効で計測したスケーリング結果は以下のとおりだ。
| ノード数 | トポロジー | Prefill (TPS) | Prefillスケーリング | Decode (TPS) | Decodeスケーリング |
|---|---|---|---|---|---|
| 1 | — | 2,635 | 1.00x | 11.86 | 1.00x |
| 2 | 直結 | 3,285 | 1.25x | 21.71 | 1.84x |
| 4 | リング | 4,446 | 1.69x | 32.82 | 2.77x |
| 4 | スイッチ（ROCEnante） | 4,556 | 1.73x | 36.34 | 3.06x |
| 8 | リング | 4,962 | 1.88x | 40.11 | 3.38x |
| 8 | スイッチ（ROCEnante） | 5,105 | 1.94x | 52.58 | 4.43x |
スイッチを使わずノードを直接リング状につなぐ「スイッチレスリング」構成は、コスト削減と簡易セットアップの観点から4ノード以下の小規模運用に適している。一方で、8ノード構成やクラスターを複数グループに分割する場合、all-to-all通信が必要なHPCワークロードの場合はスイッチが必須となる。
NeMo Switchyard：モデルルーティングによるスループット最大化
8ノードクラスターの全リソースを1つのモデルに割り当てるだけが使い方ではない。**NVIDIA NeMo Switchyard**は、リクエストの難易度に応じてモデルを動的に切り替えるオーケストレーションツールだ。
記事のプロトタイプ構成では、MiniCPM5 2B（面壁智能が開発した2Bパラメータの軽量モデル）をシンプルなタスク向けに、Qwen3 Flash Next（Alibabaが開発したQwen3シリーズの高速推論向けバリアント）を複雑なタスク向けに配置した。92ケースのツール使用ベンチマーク（難問含む）で、ルーティングありの構成はQwen単独と同等の91/100スコアを達成しつつ、スループットは以下のように向上した。
- リクエストの半分をQwenに流した場合：合計スループット約1.5倍
- リクエストの4分の1をQwenに流した場合：合計スループット約3.0倍
ルーティングポリシーはYAMLファイルで定義でき、NVIDIAがサンプルポリシーを提供している。
事前学習のスケーリング：97.4%の効率で7.79倍
推論だけでなく、事前学習もスケールする。モデルの全コピーを各ノードに持たせるデータ並列学習では、ノード間通信はステップごとの勾配同期のみとなるため、ほぼ線形にスケールする。
約896.5Mパラメータのnanochatモデルで計測した結果は以下だ。
| ノード数 | TPS | スピードアップ | スケーリング効率 |
|---|---|---|---|
| 1 | 8,741 | 1.00x | 100.0% |
| 2 | 17,202 | 1.97x | 98.4% |
| 4 | 33,640 | 3.85x | 96.2% |
| 8 | 68,079 | 7.79x | 97.4% |
**8ノードで7.79倍・効率97.4%**という数字は、データセンター級のGPUクラスターと比較しても遜色のない線形スケーリングだ。事前学習の再現コードはGitHubで公開されている。
なお、クラスターセットアップの管理には**NVIDIA Sync**のCluster Assistantが対応し、8ノードクラスターへの正式対応は年内提供予定とされている。
詳細はRunning Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodesを参照していただきたい。
