powered by TechFeed
表示モード
Deep Dive

RTX 3060×3台 vs RTX 3090×1台でローカルAIを実測 — プロンプト処理は互角、トークン生成は3090が2倍速という結果に

6月21日、Vetted Consumerが「Three RTX 3060s vs One RTX 3090 for Local AI: What a $1,500 Build Actually Measured」と題した記事を公開した。この記事では、約1,500ドルのローカルAI推論環境においてRTX 3060×3台とRTX 3090×1台を実測比較し、どちらが実用的かを検証した結果が詳しく分析されている。

6月21日、Vetted Consumerが「Three RTX 3060s vs One RTX 3090 for Local AI: What a $1,500 Build Actually Measured」と題した記事を公開した。この記事では、約1,500ドルのローカルAI推論環境においてRTX 3060×3台とRTX 3090×1台を実測比較し、どちらが実用的かを検証した結果が詳しく分析されている。

ローカルLLM推論環境を組むとき、「中古の3090を1枚買うか、安い3060を複数枚積むか」という問いは珍しくない。2026年現在、中古RTX 3090の市場価格は1,000〜1,200ドルまで高騰しており、一方でRTX 3060 12GBは約250ドルで安定している。この価格差が、「3060×3台でVRAMを積み上げる」という構成を現実的な選択肢にしている。

YouTubeチャンネルDigital Spaceportが実際にこの構成を組み、同一マシン上でRTX 3090と比較ベンチマークを実施した。Vetted Consumerはその結果を詳しく分析・解説している。

ビルド構成:合計約1,500ドルの「Mini Monster」

ベースとなるプラットフォームはAM4のミドルレンジ構成だ。

  • CPU: Ryzen 9 5950X(中古約282ドル)— このビルドで最も高い部品。レビュー者はオーバースペックと明言しており、安価なAM4チップで十分とのこと
  • マザーボード: Gigabyte B550 Eagle(約110ドル)— x16スロットが5本あるが、電気的にx16なのは1本のみ。残りはx1動作のため、PCIeライザーを使用
  • RAM: DDR4 16GB(推論はGPU VRAM上で完結するため最小限)
  • ストレージ/冷却/電源: 512GB NVMe(約30ドル)、420mm AIO水冷(約100〜150ドル)、1000W電源(約110ドル)、オープンフレーム(約65ドル)
  • GPU(比較対象): RTX 3060×3台(各12GB、合計36GB)、もしくはRTX 3090×1枚(24GB)

GPU抜きのベース構成で約800ドルかかる点は重要で、カードより土台の方が高い。RTX 3060は2年前からほぼ値上がりしていないのに対し、3090は歴史的な750〜800ドルから現在は約1,100ドルが相場となっている。

テスト環境

OSはProxmox、LXCコンテナ上でllama.cpp(llama-server)を動かし、Hermes Agentをフロントエンドとして使用。モデルはUnsloth製のdynamic Q4 GGUFを使用した。

比較に使ったモデルは意図的に異なる2種類だ:

  • Gemma 4 26B A4B(MoEモデル)— パラメータ総数は26Bだが、1トークン生成あたり約4Bしか活性化しないMixture-of-Experts構成
  • Qwen 3.6 27B(密結合モデル)— 全パラメータが毎トークンで動作するdenseモデル。24GBに収まるサイズで両構成を公平に比較

なお、これらはチューニングなしのベースライン測定値であり、実環境では速度がさらに上がる余地がある。

肝心の数字:プリフィルは拮抗、デコードは3090が倍速

ローカルLLM推論の速度指標は2つある。プロンプト処理(プリフィル)トークン生成(デコード)だ。この2つで3060×3台と3090の差は全く異なる結果になった。

プロンプト処理:差は縮まるが3090がリード

Gemma 4(MoE)でのプロンプト処理速度(トークン/秒):

コンテキスト長 RTX 3060×3台(36GB) RTX 3090×1台(24GB)
4K 〜3,200 〜4,095
16K 〜3,500 〜3,940
32K 〜3,200 〜3,500
64K 〜2,700 〜2,861
128K 〜2,026 〜2,109

4Kコンテキストでは3090が約28%上回るが、コンテキスト長が伸びるにつれて差は急速に縮まり、128Kでは誤差の範囲内に収まる。denseモデルのQwen 3.6でも同様の傾向が見られる。エージェント型のワークロードはプリフィルに多くの時間を費やすため、長文脈での差の小ささは実用上の意味が大きい。

トークン生成:3090が約2倍

体感速度に直結するデコード速度では差が開く:

モデル RTX 3060×3台 RTX 3090×1台
Gemma 4 26B A4B(MoE) 〜64〜68 tok/s 〜130〜133 tok/s
Qwen 3.6 27B(dense) 〜17 tok/s 〜38〜40 tok/s

MoEモデルでは3060スタックは3090の約50%の速度だが、64〜68 tok/sは十分実用的だ。一方、denseモデルでの17 tok/sについてはレビュー者自身が「警告サイン」と表現している。読めるが快適ではない、という水準だ。

消費電力は3060×3台構成でピーク約580〜600W。1000W電源に対して余裕がある。

なぜこの差が生じるのか

プリフィルは演算バウンド(CUDAコア数が効く)なので、3枚分のコアが積み上がってスコアが出る。デコードはメモリ帯域バウンド(重みをVRAMから読み出す速度が支配的)なので、単一の高速メモリバスを持つ3090に軍配が上がる。

YouTubeのコメント欄でもこのメカニズムを指摘するユーザーがいた:

"デコードの速度はメモリ帯域幅だけを見ればかなり近い数字になる。プリフィルはCUDAコア数の影響が大きい。" — @ChrisCebelenski(YouTube)

MoEがdenseより約4倍高速なのも同じ理由だ。MoEは1トークンあたりに動かすパラメータが少ないため、VRAMから読み出す重みの量が少なくて済む。この疎活性化のアイデアはShazeerらの2017年の論文(arXiv:1701.06538)に遡る。

また、llama.cppのデフォルトのマルチGPUモードはレイヤーをGPU間で分割する「レイヤースプリット」方式であり、PCIeバスへの負荷が低い。そのためGen3 x1ライザー(〜1GB/s)でもボトルネックにならない。ただし、vLLMのようなテンソル並列エンジンはフル幅のPCIeレーンを必要とするため、x1ライザーボードでは動作しない点に注意が必要だ。

ユーザー報告:17 tok/sはフロアであってシーリングではない

コメント欄にはこの構成の実践者の声が集まっている。

"RTX 3080 10GB×1+RTX 3060 12GB×2の構成でQwen 3.6 27B denseのq4_0を動かしている。KとVキャッシュをQ8_0に下げると平均40 t/sが出る。" — @terminalfx(YouTube)

つまり、denseモデルでの17 tok/sはチューニングなしのベースライン値であり、KVキャッシュの量子化などで改善の余地がある。

代替案として言及されているのは、RTX 5060 Ti 16GB×2枚(Blackwellで32GB)、Tesla V100 32GB(約650ドル)、AMD Radeon RX 9700(32GB)、Strix Haloの統合メモリ構成などだ。

どちらを選ぶべきか

データが明確に方向性を示している。

RTX 3060×3台が合う場合: MoEモデルを主に動かす、llama.cppで運用する、64〜68 tok/sで十分、常時稼働の低コストサーバーが欲しい。VRAMあたりのコスパは現時点で最良だ。

RTX 3090が合う場合: dense 27〜32Bモデルを動かしたい、デコード速度をとにかく上げたい、画像・動画生成も行う(レビュー者は画像生成目的なら単一の大型カードを推奨)、vLLMでテンソル並列を使いたい。ただし現在の価格高騰は無視できない。

いずれにせよ、最初に確認すべきはモデルがVRAMに収まるかどうかだ。それが決まってから速度を考える順番となる。

詳細はThree RTX 3060s vs One RTX 3090 for Local AI: What a $1,500 Build Actually Measuredを参照していただきたい。