9月19日、MarkTechPostが「PrismML Releases Ternary Bonsai 2 27B: A 5.9 GB Apache 2.0 Model Retaining 98.2% of Qwen3.8 27B Performance」と題した記事を公開した。PrismMLが三値量子化（ternary）によってQwen3.8 27Bの性能を98.2%維持しながらモデルサイズを約9分の1に圧縮した「Ternary Bonsai 2 27B」をリリースしたことについて詳しく紹介している。なお、「Qwen3.8 27B」という表記は一般的なQwenシリーズの命名規則（Qwen2.5やQwen3など）とやや異なるが、本記事では元記事の表記に従う。
53GBのモデルが5.9GBに。精度は98.2%維持
FP16で53.80 GBあったQwen3.8 27Bが、5.93 GBのGGUFファイルとして動く。圧縮率はおよそ9.1倍だ。PrismMLが公開したTernary Bonsai 2 27Bは、重みをすべて -1、0、+1 の三値に落とし込む「三値量子化」を用いたモデルで、20のベンチマーク平均スコアは83.9（元モデルは85.4）、保持率は**98.2%**と報告されている。
ライセンスはApache 2.0。重みはHugging Faceで公開されており、16 GBのラップトップや24 GB単体GPUで動作する。マルチモーダル対応で最大262Kトークンのコンテキストを受け付ける。
2ヶ月前にリリースされた初代Bonsai 27Bの保持率が約95%だったのに対し、今回は98.2%まで向上した。
三値量子化の仕組みと先行研究
各重みは-1、0、+1の3値のみを取り、128重みごとにFP16のスケール係数1つを共有する。三値は理論上log₂(3)≒1.585ビットの情報量を持ち、スケール分を合わせると1重みあたり1.71ビットになる計算だ。
三値量子化そのものは新しいアイデアではなく、MicrosoftのBitNet b1.58が三値重みによる大規模言語モデルの有効性を示した先行研究として広く知られている。また、llama.cppのGGUF形式でもIQ1_S（1.5ビット相当）などの超低ビット量子化が実装されており、エッジ推論向けの1〜2ビット圧縮は活発に研究が続く領域だ。Ternary Bonsai 2はこうした流れの中で、既存のGGUF量子化とは異なる独自フォーマットと学習手法によって高い精度保持を実現した点に特徴がある。
実際のGGUFには2種類のパッキングが存在する。
- PTQ1_0: tritを密に詰め込み1.76ビット/重み、ファイルサイズ5.93 GB
- PQ2_0: 1tritを2ビットスロットに格納、7.25 GB。展開コストが低い
どちらが速いかはハードウェアによって変わる。PTQ1_0はAda世代のNVIDIA GPUとL4で優位、PQ2_0はBlackwell・Hopper・Ampere・Appleシリコンとプロンプト処理全般で優位となる。
また、三値化の前にブロックサイズ1,024のブロックワイズHadamard変換を施して重みを回転させる手法を採用している。これはSpinQuantに由来するアイデアで、量子化による精度劣化を抑える効果がある。なお、三値への割り当てアルゴリズム自体は非公開だ。
ベンチマーク詳細
| 能力カテゴリ | Qwen3.8 27B | Bonsai 2 27B | 保持率 |
|---|---|---|---|
| 知識・推論 | 86.66 | 83.95 | 96.9% |
| 数学 | 97.06 | 96.57 | 99.5% |
| コーディング | 82.17 | 81.58 | 99.3% |
| エージェント・ツール呼び出し | 79.74 | 77.57 | 97.3% |
| 命令追従 | 81.25 | 82.66 | 101.7% |
| ビジョン | 81.64 | 78.59 | 96.3% |
| 総合（20項目） | 85.4 | 83.9 | 98.2% |
特筆すべきは従来量子化との比較だ。同じQwen3.8 27BのIQ2_XXS量子化版（7.3 GB）の平均スコアは75.2。AIME26ではBonsai 2が95.83に対しIQ2_XXSは78.6、LiveCodeBench v6では90.07対70.05と大きく差が開く。ファイルサイズがほぼ同等でありながら、精度では三値量子化が明確に上回っている。
苦手領域：長期エージェントタスク
98.2%という数字は平均であり、タスクによって劣化の度合いは大きく異なる。特に長期エージェントタスクでの落ち込みが顕著だ。Terminal-BenchやSWE-benchといった長期エージェント系タスクは、複数ステップにわたる計画・実行・自己修正が必要なため量子化誤差が累積しやすく、20ベンチマーク平均の集計対象から除外されている。
- Terminal-Bench 2.1: Bonsai 2が52.8、Qwen3.8 27Bが69.7（保持率約75%）
- SWE-bench Verified: 60.8対80.6（同約75%）
また、低エフォートモードは非対応で、中エフォートでは平均79.3（FP16の82.6比）に落ちる。
実機速度（2026年9月16日計測、バッチサイズ1）
| ハードウェア | トークン/秒 |
|---|---|
| RTX 5090 | 142.5 |
| RTX 4090（PTQ1_0） | 96.7 |
| L4（72W） | 32.1 |
| M5 Max | 46.8 |
| M5 Pro | 27.7 |
RTX 4090で96.7 tok/sというのは、会話用途であれば人間の読み取り速度を大きく上回る実用的な速度だ。M5 Proの27.7 tok/sも、ラップトップ上でのローカル推論として十分に快適な水準と言える。PrismMLはFP16の8Bモデルと比較してエネルギー効率が40%優れるとも主張している。
動かし方の注意点
標準のllama.cppではこのモデルは読み込めない。PTQ1_0およびPQ2_0形式はPrismML独自の型であるため、PrismMLのllama.cppフォークが必要だ。
セットアップはBonsai-demoリポジトリを使う形が推奨されており、./setup.sh を実行後、./scripts/start_llama_server.sh でlocalhost:8080にチャット・ビジョン・ツール対応のサーバーが立ち上がる。
MacユーザーはMLXパックも選択できる。ブラウザ上で試したい場合はWebGPUデモも公開されている。
技術的な詳細はホワイトペーパー（PDF）にまとめられている。
詳細はPrismML Releases Ternary Bonsai 2 27B: A 5.9 GB Apache 2.0 Model Retaining 98.2% of Qwen3.8 27B Performanceを参照していただきたい。
