10月18日、Omar Sohailが「RTX 3090's Token Generation Speed Gets Up To A 4.6x Boost Running A 27B LLM Through Just Inference Optimizations, Opening New Doors For Older GPUs」と題した記事を公開した。RTX 3090上でQwen3の27Bモデルを動かす際、GPUやモデルを変えることなく推論エンジンの最適化だけでトークン生成速度を最大4.6倍に引き上げた手法について詳しく紹介されている。
ベースラインは82 tok/s、最終的に382 tok/sへ
Redditユーザー「u/iamMess」がLocalLLaMAサブレディットに投稿した内容によると、RTX 3090（VRAM 24GB）でQwen3 27Bを動かした際のベースライン速度は82 tok/s。これを独自の推論エンジンで段階的に改善し、最終的に382 tok/sまで引き上げた。
速度改善の経緯は以下のとおりだ。
- ベースライン：82 tok/s
- Qwen3 27B内蔵のMTP（Multi-Token Prediction）チューニング後：114 tok/s
- 「DFlash2」（7トークンを一括提案するドラフター）追加後：138 tok/s
- 「lookupドラフター」を組み合わせ、1ステップで16トークン検証：260 tok/s（25,000トークンの文書タスク）
- さらなる最適化後：382 tok/s（同文書タスク）
なぜ速くなるのか：投機的デコーディングの仕組み
LLMのトークン生成が遅い根本原因は、計算量ではなくメモリ帯域幅のボトルネックにある。モデルは1トークンを生成するたびに、数十GBに及ぶ重み（weights）をVRAMから読み出す必要がある。RTX 3090のメモリ帯域幅は936.2 GB/sと高いものの、処理のたびに毎回重みを引き出す構造上、GPUの演算ユニットはほとんどの時間アイドル状態になる。
この問題を解決するアプローチが**投機的デコーディング（Speculative Decoding）だ。軽量な「ドラフター」モデルが次の数トークンを先読みし、メインモデルが1パスでまとめて検証・採否を判断する。1単語ずつ確認する代わりに、文ごとまとめて処理するイメージだ。メインモデルが最終判断を下す構造は変わらないため、精度はベースラインと同一**。実際、数学ベンチマークでの正答率は96.5%で変化なかったと報告されている。
今回の構成では、DFlash2（7トークン提案）とlookupドラフターを組み合わせ、1ステップで16トークンを一括検証する設計とした。DFlash2はu/iamMessが独自に実装したドラフターであり、元のReddit投稿内でそのアプローチの詳細が共有されている。lookupドラフターは、プロンプトや入力文書中のn-gram（連続するトークン列）を参照し、同一フレーズが再出現する箇所を先読みする手法だ（llama.cppにも同種の実装が存在する）。Qwen3 27Bが文書を引用する場面では、16トークンのうち約15が承認されるため、特に効果が大きい。
副次的な成果と制約
この最適化の過程で、モデルの作業メモリ（KVキャッシュ）をより圧縮されたフォーマットで保存することにより、コンテキストウィンドウを138,696トークンにまで拡張することにも成功している。
ただし、制約もある。
- 16トークン一括検証モードはリクエストスロットの半分と8,000トークン分のコンテキストを消費するため、オプション扱い
- 圧縮KVキャッシュは文書の初回読み込み時間が2倍になる。文書を1度読み込んで繰り返し質問するユースケース向け
- 文書引用以外の通常チャットでは、このモードはMTP単体の約半分の速度にとどまる
- 通常チャットでの速度は約133 tok/s（それでもベースライン比で約1.6倍）
なお、wccftechはこの情報を独自に検証していないと明記しており、数値はRedditの投稿に基づくものである。
ローカルLLM推論エンジンの文脈と旧世代GPUへの示唆
ローカルLLMの推論エンジンをめぐっては、llama.cppやvLLM、Ollamaなど複数の実装が競合しており、量子化精度・バッチ処理・投機的デコーディングの対応状況がそれぞれ異なる。今回u/iamMessが取り組んだのはこれらとは別の独自実装であり、特定のモデル・GPU・ユースケースに特化した最適化を積み重ねることで、汎用エンジンを大きく上回る速度を引き出せることを示している点で注目に値する。
RTX 3090は2020年発売のコンシューマー向けGPUだ。新しいモデルや高価なハードウェアなしに、推論スタックの設計だけでここまでの改善幅が出ることは、旧世代GPUでローカルLLMを運用しているエンジニアにとって実用的な知見といえる。量子化・投機的デコーディング・KVキャッシュ圧縮といった個々の技術はいずれも既知のものだが、それらを組み合わせて特定ハードウェア向けに突き詰めた点に、この事例の実践的な価値がある。
