7月9日、MarkTechPostが「Meet Nemotron Labs 3 Puzzle 75B A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput」と題した記事を公開した。この記事では、NVIDIAが開発した大規模ハイブリッドMoEモデルの圧縮手法「Puzzle」によって、サーバースループットを最大2.03倍に向上させたモデル「Nemotron-Labs-3-Puzzle-75B-A9B」について詳しく紹介されている。
「半分以下の重み」で2倍超のスループットをどう実現するか
大規模推論の現場で常に問題になるのが、モデルが大きすぎてサーバーに乗り切らないことだ。NVIDIAのNemotron-3-Superは総パラメータ数120.7B、アクティブパラメータ数12.8Bのハイブリッドモデルだが、H100（HBM 80GB）上にNVFP4量子化で展開しても重みだけで約70GBを消費する。1Mトークンのコンテキストを持つリクエストはKVキャッシュだけで約4GBを追加するため、同一H100上で同時に処理できるリクエスト数は1件が上限だった。
今回公開された**Nemotron-Labs-3-Puzzle-75B-A9Bはこの制約を正面から突き破る。NVFP4時の重みサイズは約44.5GBまで圧縮されており、同じ1Mコンテキスト条件でH100一枚あたり同時8リクエスト**が可能になる。アグリゲート（合算）のデコードスループットはSuper単体の約4倍、990Kトークンのプリフィルは約1.2倍高速だ。
なお、8xB200ノードでのデコード重視シナリオ（入力8K/出力64K）では、ユーザースループット（UT）を100 tok/s以上に保ちながら2.03倍のサーバースループットを達成している。タイトルの「2倍超」はこのB200×8構成での数値であり、H100での同時8リクエスト処理とは別の指標である点に注意されたい。
| シナリオ（in/out） | UTフロア | Super（tok/s） | Puzzle-75B-A9B（tok/s） | 倍率 |
|---|---|---|---|---|
| 50K / 2K | ≥100 | 5,128 | 8,210 | 1.60x |
| 8K / 64K | ≥100 | 20,939 | 42,601 | 2.03x |
| 8K / 64K | ≥125 | 13,074 | 27,918 | 2.14x |
プリフィル重視の50K/2Kシナリオでの伸びが1.60倍にとどまるのは構造上自然で、メモリ帯域より計算律速になりやすいプリフィルでは圧縮の恩恵が薄い。
Iterative Puzzle：段階的圧縮＋蒸留で精度を守る
技術的に読み解く価値があるのは、この圧縮を実現するIterative Puzzleの設計だ。
従来の「Puzzle」（論文）は、混合整数計画（MIP）を使って各レイヤーに対して「どの代替実装を選ぶか」を一度に最適化するフレームワークだ。各候補を元のモデル（Super）の中で単独スコアリングしてからMIPで選択するが、この手法は複数箇所を同時に圧縮したときの相互作用を無視している。
Iterative Puzzleはこの問題を、段階的な圧縮と知識蒸留（KD）の交互適用で解決する。
- ステップ1：MoE重みを75%、Mamba SSM状態を75%に圧縮 → 24Bトークンで蒸留回復
- ステップ2：MoE重みをさらに60%まで圧縮 → 43.2Bトークンで蒸留回復
- ステップ3：アクティブルーティング済みエキスパートの予算を50%まで削減（層ごとに異なる配分） → 52.8Bトークンで蒸留回復
各ステップで圧縮後のモデルを起点に再スコアリングするため、蓄積した相互作用を正確に反映できる。結果として10ベンチマーク平均で69.05 vs 68.48（単一ステップ比）、**+0.57ポイント**の改善を記録している。
圧縮の内訳
88ブロック（Mamba×40、MoE×40、Attention×8）のレイアウトはSuperと同一を維持しつつ、各ブロック内部を削っている。
| パラメータ | Super | Puzzle-75B-A9B | 比率 |
|---|---|---|---|
| 総パラメータ数 | 120.7B | 75.3B | 62.4% |
| アクティブパラメータ数 | 12.8B | 9.3B | 73.1% |
| Mamba SSM状態サイズ | 128 | 96 | 75% |
| MoEルーティングエキスパート中間サイズ | 2688 | 1280〜2688（平均59.9%） | — |
| トークンあたりアクティブエキスパート数 | 22 | 4〜18（平均50%） | — |
Attentionレイヤーは一切削っていない。Superがすでにかなりのキャッシュ効率を持つためだとNVIDIAは説明している。
精度のコストとMTP：どこが痛くて、どこは耐えるか
正直に書かれているのが好感を持てる点で、論文はコストを隠していない。
| ベンチマーク | Super | Puzzle | 差分 |
|---|---|---|---|
| Arena-Hard-V2 | 72.8 | 68.6 | -4.2 |
| SWE-Bench（OpenHands） | 59.5 | 56.9 | -2.6 |
| AIME25（ツールなし） | 92.2 | 89.7 | -2.5 |
| RULER 1M | 93.9 | 92.2 | -1.7 |
| AA-LCR | 56.8 | 56.9 | +0.1 |
最も大きい劣化はArena-Hard-V2の**-4.2ポイント**。論文は「instruction-followingとagenticな評価が最も失われる」と明記している。RULERは256K〜1Mの全レンジで1〜2ポイント以内に収まっており、超長文コンテキストの精度はほぼ維持している。
なおNVFP4量子化の追加コストは小さく、RULER 1MはBF16の92.2に対しNVFP4で93.2と逆転している場面もある。
精度回復の観点で注目されるのがMulti-Token Prediction（MTP）ヘッドだ。SuperからMTPヘッドを移植したうえで、学習時（teacher-forced）と推論時（autoregressive）の乖離を追加学習で補正した結果、SPEED-Benchのドラフト長7での平均アクセプタンス長が3.45 → 4.34に向上している。MTPはスループット改善にも直結する要素であり、Iterative Puzzleによる圧縮と組み合わさって全体的なスループット倍率の底上げに貢献している。
量子化チェックポイントの公開状況
HuggingFaceにはBF16・FP8・NVFP4の3チェックポイントが公開されている。FP8はHopperターゲット、NVFP4はBlackwellターゲットだが、1MコンテキストのHBM容量制約上HopperでもNVFP4を利用している。
詳細はMeet Nemotron Labs 3 Puzzle 75B A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughputを参照していただきたい。
