11月18日、Hugging Faceが「180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers」と題した記事を公開した。32GBという一般的なノートPCの標準的なメモリ容量で、180Bパラメータという巨大なMoEモデルを実際に推論させるという試みの実装記録だ。通常であれば数百GBのメモリを要するモデルをいかに動かすか——その技術的な詳細が、実測値とともに公開されている。
「32GBのMacで180Bモデルを動かす」という試み
著者はHugging FaceのエンジニアであるTarek Ziadeだ。自宅にはRTX 4090を2枚積んだWindowsマシン(Orthrus)、仕事にはM5チップ・32GB統合メモリのMacBookを使っている。ローカルでより大きなモデルを動かしたいという動機から、今回の実験が始まった。
ターゲットは**Qwen3.8-Flash-Next(元記事で対象として指定されているモデル名。正式な公開状況については元記事を参照されたい)。48層・各層512エキスパート(10アクティブ)という構成で、エキスパート重みだけでFP8換算121GB、さらに51GBのn-gramエンベッディングテーブル**(大規模言語モデルで語彙のトークン埋め込みを格納するテーブル。このモデルでは特に巨大)を持つ。32GBのMacには到底乗り切らない。
既存エンジンのオフロード戦略と限界
まず既存の推論エンジンがMoEモデルのメモリ不足にどう対処しているかを整理する。
llama.cpp はGGUFファイルをmmapしてエキスパートをCPUで計算する。エキスパートがRAMに収まる限りは速いが、収まらなければページキャッシュが暴れる。GPU向けのエキスパートキャッシュ機能も追加されたが、グラフが分割されてトークンあたり50スプリットになり、全エキスパートがVRAMに収まる状況でも約10%の速度低下が生じる。
vLLM は指定サイズの重みをピン留めRAMに置き、PCIe越しに読む。ホットなエキスパートをトークンごとに再転送するため、シングルユーザー・シングルGPUの用途には効率が悪い。
Transformers + Accelerate はモジュール単位でフックをかけ、forward前にGPUへコピーする。MoEの場合、ルーターが選ぶ数エキスパートではなく層全体のエキスパートバンクを毎トークンコピーする。キャッシュもルーティングの概念もない。MacではCPUとGPUがメモリを共有するため、「CPUにオフロード」しても実質的にメモリが解放されない。
比較対象として登場するStrataは、MoEモデルの推論に特化した推論エンジンだ(元記事では詳細な説明は省かれているが、ローカル推論向けの専用エンジンとして位置付けられている)。
A10G(24GB)+ 十分なRAMという環境でQwen3.6-35B-A3Bを走らせた比較結果は以下の通りだ。
| エンジン | デコード速度(tok/s) |
|---|---|
| Strata, Q8_0 | 82〜88 |
| llama.cpp, Q8_0, --fit on | 63〜64 |
| llama.cpp, BF16, --fit on | 35〜36 |
| vLLM, FP8, --cpu-offload-params experts | 20.1 |
| vLLM, FP8, --enforce-eager | 14.7 |
| vLLM, BF16, --cpu-offload-gb 50 | 3.3 |
| Transformers + Accelerate | 0.16 |
Transformers + Accelerateの0.16 tok/sは実用外だ。
experts_offload:Transformersへの実装
ここが記事の核心だ。Ziadeは既存のAccelerateオフロードを使わず、ルーターが選んだエキスパートだけをSSDからストリーミングする仕組みをTransformersのPR(#50717)として実装した。
設計の鍵は「スロットプール」という発想だ。全層で共有する事前確保済みデバイステンソル(スロット)を用意し、エキスパートIDからスロットへのマッピングテーブルを層ごとに持つ。ルーターのエキスパートIDをスロットに読み替えることで、プールが通常のエキスパートバンクとして見え、既存のgrouped_mmカーネルをそのまま使える。カスタムのエキスパートmatmulが不要になる点が実装上の妙だ。
path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming")
model = AutoModelForCausalLM.from_pretrained(
f"{path}/dense",
dtype=torch.bfloat16,
device_map={"": "mps", "experts.*": "disk"},
quantization_config=MetalConfig(bits=8),
experts_offload={
"cache_bytes": 12 << 30,
"quantized_experts": f"{path}/experts-q3",
},
)
ミスヒット時は8本のI/Oスレッドがエキスパートを並列読み込みし、次の2層のルーターを現在の隠れ状態で先行実行してプリフェッチ対象を予測する。エキスパートはオフライン量子化(3bit)して読み込みサイズを削減している。
Qwen3.8-Flash-Nextの場合のメモリ構成は以下だ:
- エキスパート:3bit量子化で49GB(ディスク)、12GiBをデバイスキャッシュ
- 密な層:8bit量子化で約5.4GB(BF16比+0.2%パープレキシティ)
- n-gramテーブル:ディスク上に保持、必要な行のみ読み込み
ロード後は約18GiB、6Kプロンプト時に最大25.4GiBを使用する。ブラウザを閉じないとmacOSがスワップし始めるギリギリのラインだ。
Strataとの最終比較
最初の実装ではStrataに対して大きく差がついた。
| Transformers(初期) | Strata | 差 | |
|---|---|---|---|
| デコード 200トークン | 10.0 tok/s | 14.8 | 1.5x |
| プリフィル 4Kプロンプト | 68 tok/s | 220 | 3.2x |
| 6Kドキュメント後デコード | 7.3 tok/s | 13.7 | 1.9x |
その後、以下の最適化を重ねた:
- MPSでのGPUコミットを早める:PyTorchがMPS上で小さいカーネルを次のsyncまでバッファするため、各ブロック後に強制コミットして+10%
- Metal カーネル:Gated DeltaNetとhyper-connectionsのmacOS向け高速パス
- Strataの重みを流用:StrataのGGUF重みに切り替えて密な重みのトラフィックを5.4GB→3.9GBに削減
- プリフィル最適化:チャンクを大きくし、現在層の計算中に次層のエキスパートを読み込む
- 長文書対応:KVキャッシュをin-placeで拡張し、コピーを排除
最終結果は次の通りだ。
| Transformers(最終) | Strata | 差 | |
|---|---|---|---|
| デコード 200トークン | 13.9 tok/s | 14.8 | 1.06x |
| プリフィル 4Kプロンプト | 228 tok/s | 220 | 1.0x(上回る) |
| 6Kドキュメント後デコード | 12.4 tok/s | 13.7 | 1.1x |
プリフィルではStrataを上回り、デコードは約6%差まで縮まった。タイトルで「Strataに迫り一部を超えた」と表現しているのはこの結果を指す。
残る壁:PyTorchのMPS制御
最後の6%の壁はホストのラウンドトリップで、トークンあたり約10msかかっている。Strataはトークン1本分の全処理をGPUキューに積んでおき、各層でCPUがエキスパートを読み込む間GPUはMetal共有イベントで待機する構造だ。PyTorchはこの制御を公開していない。
CPUがフラグを書き込むカーネルでの代替を試みたが、GPUが書き込みを認識するまで数秒かかることもあれば認識されないこともあった。根本的な解決にはPyTorchのMPSストリームへのネイティブop追加が必要で、ハング発生リスクもあるため未実装のままだ。
なお、プロジェクト全体にC++拡張は一切なく、Python・Metal(torch.mps.compile_shaderでランタイムコンパイル)・Hub上のビルド済みカーネルだけで構成されている点は注目に値する。コードはすべてAIと共同で生成し、著者自身は「何を試すか・プロファイルを読む・何を残すか」を担当したと明記されている。
詳細は180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformersを参照していただきたい。




