6月29日、データインフラ系スタートアップQuesmaが「Qwen 3.6 27B is the sweet spot for local development」と題した記事を公開した。ローカル実行に最適なLLMとしてQwen 3.6 27Bを推す理由と、MacBookで実際に動かすまでの手順を詳しく紹介している。
記事の書き手は長らくローカルモデルに失望してきたと言う。しかしQwen 3.6 27Bを試して、「汎用AIとして実際に意味をなす初めてのローカルモデル」と評した。クラウドAPIへの依存を下げたい開発者にとって、これは見逃せない評価だ。
なぜ今ローカルモデルなのか
クラウドAPIへの依存にはリスクがある。記事では現実的な懸念として以下を挙げている。
- プロプライエタリなモデルは突然サービス終了することがある
- 現在の月額$100課金は実コストより大幅に割り引かれており、いつ価格が是正されるかわからない
- ローカルモデルはプロプライエタリデータや医療データを外部サーバーに送らずに使える
こうした背景から、「ローカルで動かせるモデルの品質が実用水準に達したか」は開発者にとって切実な問いになっている。Qwen 3.6 27Bはその問いに対する、現時点での一つの回答として位置づけられる。
「ローカルモデルに失望してきた」著者が推す一本
Qwen 3.6には2つのバリアントがある。
- **Qwen 3.6 35B A3B**：Mixture-of-Experts（MoE）構造。全パラメータのうち一部だけを選択的に使うことで推論を高速化する設計
- **Qwen 3.6 27B**：Denseモデル（全パラメータを毎回使う通常の構造）。やや遅いが品質が高い
記事ではMoEの35B A3Bより、Dense構造の27Bを推奨している。実際に六角形マインスイーパーの生成を両モデルで試したところ、35B A3Bは単一のindex.htmlで実装したのに対し、27Bは「pnpmパッケージとして作れ」という指示を正確に守り、1プロンプト・1回でNode.jsパッケージとして動くものを生成した。命令追従性の差が出た形だ。
実際のパフォーマンスはどのくらいか
MacBook Max M5 128GB（128GBユニファイドメモリを搭載した高スペック構成）で計測した結果、llama.cppで約30トークン/秒が出た。これはGPT-4oクラスのAPIが返す典型的なスループットと同等の水準だ。GPU使用率は95%で、Apple Siliconのリソースをほぼ使い切っている。
Artificial Analysisのベンチマークによると、Qwen 3.6 27Bの品質スコアはGPT-5 / Claude Sonnet 4.5クラス（2025年中頃のフロンティアモデル水準）に位置する。一方、ローカルコーディングのデフォルトとして広く使われるGemma 4 31Bはo1 / Claude 3.5 Sonnet相当（2024年末水準）とされており、Qwen 3.6 27Bが品質面で大きくリードしている。
NvidiaのRTX系でも動作する。Hacker Newsには以下のコメントが寄せられている。
I set this up today on my 5090 at Q6_K quantization and Q4_0 KV, got 50 tokens/s consistently at 123k context, using ~28/32gb vram through LM Studio.
— gfosco、Hacker News
RTX 5090ならQ6_K量子化で50トークン/秒、123kコンテキストでも安定して動作している。Hacker Newsでは「サイズの割に強い（punches above its weight）」という評価が多く見られ、Will it Mythos?といった独自検証記事も出ている。
なお、Apple Silicon向けに最適化されたmlx-lmより、汎用のllama.cppの方が速かったとのことだ。
llama.cppでの起動手順
記事ではOllamaを使わず、llama.cppを直接使うことを推奨している。Ollamaはセットアップが簡単な反面、モデルの動作に関する透明性や設定の制御性に限界があり、記事でもその点を理由に推奨しないと明記している（参考）。
量子化モデルはunslothやbartowskiがHugging Faceで配布している。推奨はQ8_0（8bit量子化）で、BF16の半分のサイズでありながら品質の劣化がほとんどない。さらに圧縮した量子化との比較はこのRedditスレッドが参考になる。
サーバー起動コマンドは以下。
llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 \
--spec-type draft-mtp -ngl 999 -fa on -c 65536 --jinja --port 8080
主なオプションの意味：
--spec-type draft-mtp：MTP（Multi-Token Prediction）による投機的デコード（次のトークンを先読みして生成を高速化する手法）-ngl 999：全レイヤーをGPUに載せる-fa on：Flash Attentionを有効化-c 65536：コンテキストを64kトークンに設定（Qwen 3.6 27Bのネイティブコンテキストは256k）--jinja：ツールコール（関数呼び出し機能）を有効化
http://127.0.0.1:8080を開けばそのままチャットできる。AIコーディングツールのOpenCode（自然言語でコードを生成・編集するいわゆる「vibe coding」ツール）と接続する設定は以下。
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"llama": {
"name": "llama.cpp (local)",
"npm": "@ai-sdk/openai-compatible",
"options": {
"baseURL": "http://127.0.0.1:8080/v1",
"apiKey": "local"
},
"models": {
"qwen3.6-27b": { "name": "Qwen3.6-27B Q8 +MTP" }
}
}
},
"model": "llama/qwen3.6-27b"
}
ベンチマーク結果と手順の詳細はbenching-local-llms-on-apple-siliconのGitHubリポジトリにもまとめられている。
詳細はQwen 3.6 27B is the sweet spot for local developmentを参照していただきたい。
