10月15日、Apple Machine Learningが「Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio」と題した記事を公開した。Mac Studio 4台をThunderboltで束ねたクラスタ上で、約8160億パラメータという規模のLLMをローカル実行する技術的な詳細が報告されている。本記事ではその内容を整理する。なお、登場するOS・モデル名・ハードウェアは本記事公開時点の最新情報に基づく。
なぜ「4台クラスタ」が必要なのか――背景とMLXの位置づけ
Appleはオンデバイス推論・プライバシー保護の観点から、クラウドに依存しないローカルAI実行を長期的に推進してきた。その中核となるフレームワークが**MLX**だ。MLXはApple Siliconの統合メモリアーキテクチャを直接活用するために設計されたオープンソースの機械学習フレームワークであり、CPUとGPUがメモリを共有する構造上、大規模モデルをGPU VRAMの制約なしに扱える。
今回の記事はそのMLXを複数台のMac Studioに拡張し、1台では物理的に収まりきらない規模のモデルをローカルクラスタで動かす試みを報告している。クラウドAPIを使わず、机の上のハードウェアだけで推論できるという点がこの取り組みの核心だ。
4台クラスタで毎秒36トークン以上――ほぼ1兆パラメータの実行
記事の主題となるモデルはMuse Spark Open（816Bパラメータ）だ。Mac Studio（M5 Ultra）4台クラスタ上で動作させ、毎秒36トークン以上の生成速度を達成したと報告されている。
36トークン/秒は平均的な英語読書速度（諸説あるが200〜300語/分程度）を上回る水準とされており、実用的な対話が成立する速度圏内に入る。ただし読書速度には個人差があり、あくまで参考値として捉えていただきたい。
Muse Spark OpenはMixture of Experts（MoE）アーキテクチャを採用しており、推論時に実際に動くのは全816Bのうち42Bのパラメータのみだ。さらにNVFP4（NVIDIA独自のFP4フォーマット。元記事では「4ビット量子化」として紹介されているが、Apple/MLXコンテキストでの実装詳細は元記事の記述に基づく）を適用することで、モデルのメモリフットプリントを約493GBまで圧縮している。それでも1台のMac Studio（最大512GB統合メモリ）には収まりきらないため、複数台への分散が必要になる。タイトルに「4台クラスタ」を掲げているのはこの理由からだ。
M5 Ultra単体でも十分に速い
分散構成の話に入る前に、まず単体機のパフォーマンスを整理する。
比較対象として使われたモデルは以下の3つだ。
| モデル | 総パラメータ数 | 推論時アクティブパラメータ | 評価精度 |
|---|---|---|---|
| Muse Spark Open | 816B | 42B | NVFP4 |
| Mistral Medium 3.5 | 128B | 128B | FP8 |
| Qwen 3.8 | 27B | 27B | BF16 |
Qwen 3.8（27B）とMistral Medium 3.5（128B）は512GB RAM搭載のMac Studio 1台に収まる。65,536トークンの大コンテキストでそれぞれ最大68GBと158GBのRAMを消費する。
M5 UltraとM3 Ultraの比較で際立つのはTime to First Token（TTFT）の差だ。TTFTは計算量バウンドな処理であり、M5 UltraのGPU Neural Accelerator（行列乗算専用ハードウェア）が直接効いてくる。結果として、M3 Ultra比で最大4.6倍のTTFT高速化が得られている。
生成速度（トークン/秒）はメモリ帯域バウンドな処理だ。M5 Ultraは1.2 TB/sの統合メモリ帯域幅（M3 Ultraは819 GB/s）を持ち、これが1.6倍の生成速度向上に直結する。
消費電力はM3 Ultraで約200W、M5 Ultraで約300W。記事はこれを「一般的なトースターの消費電力の一部」と表現しており、家庭やオフィス環境での運用を念頭に置いた言及だ。
RDMA over Thunderbolt：分散推論を支えるインフラ
複数台への分散を可能にしているのが、macOS 26.2で導入されたRDMA（Remote Direct Memory Access）over Thunderbolt 5ドライバだ。RDMAはCPUを介さずにメモリ間でデータを直接転送する技術で、通信レイテンシを大幅に削減できる。macOS 26系は記事公開時点での最新系統であり、このドライバはその上で提供される新機能に相当する。
MLX v0.30.1以降はこのドライバの上に**jaccl（"jackal"と読む）**と呼ばれる通信コレクティブを実装している。Mac Studio同士をThunderboltケーブル2本で接続することで、リンク帯域幅を倍にする構成だ。
ジョブの起動はmlx.launchコマンド1つで行える：
mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.benchmark --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 -p 8192 -g 128 -b 1
--backend jacclでRDMA Thunderboltドライバを指定し、MLX_METAL_FAST_SYNCH=1はCPU（Thunderbolt通信の開始点）とGPU（演算担当）間の同期オーバーヘッドを削減する実験的フラグだ。
パイプライン並列 vs テンソル並列
MLXがサポートする分散推論の手法は2つある。
パイプライン並列化はモデルの層を深さ方向に分割する。1台目のMac Studioが前半の層を処理し、その出力を2台目に渡して後半の層を処理させる構成だ。実装変更が最小限で済むシンプルな手法であり、生成速度は単体機とほぼ変わらない。ただし、大きなコンテキスト（65,536トークン）では、コンテキストを8,192トークンのチャンクに分割してプリフィルをオーバーラップさせることで、単体機比で最大約1.8倍のTTFT高速化が得られる。
テンソル並列化はモデルの幅方向に各層を分割する。各マシンが全層の一部ずつを保持し、層ごとの演算を並列化する。生成速度の向上には有効だが、各層・各トークンごとに入力のブロードキャストと出力のアグリゲーションが必要になるため、超低レイテンシな通信が不可欠だ。RDMA over Thunderboltが前提技術として必須になる理由がここにある。
Muse Spark OpenをM5 Ultra 4台でテンソル並列化した場合、65,536トークンのコンテキストでTTFTはThunderboltケーブル1本構成の50.5秒から2本構成で40.6秒に短縮される。ケーブル2本によるリンク帯域幅の倍増が実測値として現れている。
また、MoEアーキテクチャ（Muse Spark Open）はエキスパートの出力正規化に追加の通信が発生するため、密なアーキテクチャ（DenseモデルのQwen 3.8やMistral Medium 3.5）の方がテンソル並列化でのスケーリング効率が高いことも報告されている。
ベンチマークの実行方法
単体機でのベンチマークは以下のコマンドで再現できる：
mlx_lm.benchmark --model Qwen/Qwen3.8-27B -p 8192 -g 128 -b 1
-p 8192がプリフィルトークン数、-g 128が生成トークン数、-b 1がバッチサイズだ。分散構成での実行もmlx.launchにhostfileを渡すだけで切り替えられる設計になっている。
詳細はLocal and Distributed Large LLM Inference with MLX and RDMA on Mac Studioを参照していただきたい。
