6月27日、The Decoderが「ByteDance's "iLLaDA" is a diffusion language model that keeps up with Qwen2.5」と題した記事を公開した。ByteDanceと中国人民大学が共同開発した拡散言語モデル「iLLaDA」がAutoRegressiveモデルのQwen2.5 7Bに匹敵するベンチマーク性能を達成したことについて詳しく紹介している。
拡散モデルでテキスト生成——「iLLaDA」とは何者か
大規模言語モデルのほぼすべては、左から右へとトークンを1つずつ生成するAutoregressive（AR）方式を採用している。これに対して拡散言語モデルは、まずプレースホルダー（マスクトークン）で埋め尽くされたシーケンスを用意し、複数回のパスを経て並列的に洗練させていく方式だ。画像生成モデルがノイズから絵を形成するのと似たアプローチで、すべての位置が同時に他のすべての位置を参照できる双方向処理が特徴である。
この拡散言語モデルの分野で、ByteDanceが「iLLaDA（improved LLaDA）」を発表した。8Bパラメータの密なモデルをスクラッチから学習したもので、前身のLLaDA（2.3兆トークンで学習）から大幅に強化されている。iLLaDA自体の技術詳細はarXivの論文で公開されており、アーキテクチャや学習手法の詳細を確認できる。
スクラッチ学習で既存ARモデルに並ぶ
iLLaDaの学習規模は12兆トークン、ファインチューニングは12エポックにわたって実施された。ベンチマーク結果が以下の通りだ。
なお、表中のスコアはいずれも各ベンチマークの正解率（%）で、数値が高いほど高性能を示す。平均はMMLU・BBH・ARC-C・Hellaswag・GSM8K・Math・HumanEval・MBPPの8タスクの単純平均である。
| モデル | iLLaDA 8B | LLaDA 8B | Dream 7B | Qwen2.5 7B |
|---|---|---|---|---|
| 方式 | 拡散 | 拡散 | 拡散 | AR |
| 学習トークン数 | 12T | 2.3T | 18T + 0.6T | 18T |
| MMLU | 74.8 | 65.9 | 69.5 | 71.9 |
| BBH | 71.3 | 49.7 | 57.9 | 63.9 |
| ARC-C | 60.8 | 45.9 | 59.8 | 51.5 |
| Hellaswag | 76.6 | 70.5 | 73.3 | 79.0 |
| GSM8K | 81.9 | 70.3 | 77.2 | 78.9 |
| Math | 38.4 | 31.4 | 39.6 | 41.1 |
| HumanEval | 50.0 | 35.4 | 57.9 | 56.7 |
| MBPP | 57.8 | 40.0 | 56.2 | 63.6 |
| 平均 | 63.9 | 51.1 | 61.4 | 63.3 |
平均スコアはiLLaDA Baseが63.9点、Qwen2.5 7Bが63.3点。前身のLLaDaから平均で21.6点の大幅改善（推論テストBBHにおいて）を達成し、ARモデルと肩を並べた。
競合する拡散モデルのDream 7B（Qwen2.5のチェックポイントからファインチューニングして構築）と比較しても、iLLaDaはスクラッチ学習にもかかわらず平均スコアで上回った（63.9 vs. 61.4）。DreamがコーディングベンチマークでわずかにiLLaDaを上回る点は残っているが、総合的にはiLLaDaが優位だ。
Googleとの方向性の違い
同じ拡散言語モデルとして、2025年6月にGoogleがDiffusionGemmaを発表している。DiffusionGemmaは250億パラメータのMixture-of-Experts（MoE）モデルであるGemma 4をバックボーンとして使用し、生成方式のみを差し替えたアーキテクチャだ。通常のARモデルと比べて約4倍高速なテキスト生成を実現しているが、MMLUやコードなどのベンチマークでは同規模のARモデルを下回る。Googleは低レイテンシ用途向けと位置づけており、品質重視の本番環境には推奨していない。
iLLaDaはこれとは逆の方針を取る。速度よりも品質を優先し、スクラッチから学習するアプローチだ。パラメータ規模やベンチマークの種類が異なるため両者の直接比較は難しいが、拡散言語モデルの開発においてGoogleとByteDanceが異なる設計判断をしていることは明確だ。
Instructレベルでは差が残る
ベースモデルでの健闘とは対照的に、iLLaDA-Instructは67.1点にとどまり、Qwen2.5 7B Instructの77.1点に大きく及ばない。この両スコアは、上述の8ベンチマーク群におけるInstruct版同士の平均正解率の比較である。差の主因は数学とコードだ。
論文の著者らはこの差を、Qwen2.5が持つ強化学習によるアラインメント（RLHF等）をiLLaDaがまだ備えていないことに起因すると説明している。また論文の付録では、難易度の高いタスクにおいてモデルが推論ループに陥る（同じ思考を繰り返し抜け出せない）現象も報告されている。
拡散言語モデルがスクラッチ学習でARモデルに追いつけることは示されたが、instructチューニングとアラインメントの成熟という課題は残っている。
詳細はByteDance's "iLLaDA" is a diffusion language model that keeps up with Qwen2.5を参照していただきたい。
