7月13日、The Decoderが「German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and German」と題した記事を公開した。316億パラメータを持ちながら推論時に動くのは実質32億パラメータ分——ドイツの公的資金で開発されたこのモデルが、完全オープンモデルの英語・ドイツ語ベンチマークで同時首位を記録した。
316Bパラメータで実動は32B——MoE×Mambaのハイブリッド構成
Soofi Sの最大の特徴は、そのアーキテクチャの効率性だ。
モデルの総パラメータ数は31.6B（316億）だが、1トークン生成時に実際に活性化されるのは約3.2B（32億）パラメータのみ。これはMoE（Mixture-of-Experts）方式による設計で、複数の「専門家」サブネットワークの中から入力ごとに一部だけを選択して使うことで、計算コストを実質的に3Bモデルに近い水準に抑える。アーキテクチャはNvidiaのNemotron 3 Nanoをそのまま採用しており、Mamba-2レイヤーと標準的なAttentionレイヤーを組み合わせたハイブリッド設計が特徴だ。Mamba-2は状態空間モデル（SSM）の一種で、通常のTransformerのAttentionと異なり、長いシーケンスを固定サイズの状態として圧縮しながら処理できる。
この構成が長コンテキスト時のスループットに直結する。通常のTransformerでは、Attentionの計算に使うKVキャッシュがコンテキスト長に比例して増大し、長い入力や並列リクエストの多い場面でボトルネックになる。Soofi Sの52レイヤーのうち、KVキャッシュを保持するのはわずか6レイヤーだ。
実測値でその差は明確に出ている。コンテキスト長40,000トークン・32並列リクエストの条件下で、Soofi Sは14〜24Bパラメータの密なモデルと比べてGPU1基あたり約8倍のトークン生成速度を達成している。さらに、4,000〜256,000トークンの範囲でスループットがほぼ横ばいを維持しており、コンテキストが伸びても性能が落ちにくい。同様の特性を示す唯一の比較モデルはAlibabaのQwen3.5 35B-A3Bで、こちらも同じハイブリッドアーキテクチャを採用している。
ドイツ語比率を意図的に引き上げた3フェーズ学習
学習データは合計約27兆トークンで、3フェーズに分けて処理されている。
- フェーズ1（約20兆トークン）：Webテキスト、コード、数学、専門テキストを広く収録。ドイツ語比率7.2%
- フェーズ2（約6兆トークン）：高品質ソースに絞って学習パターンを精錬。ドイツ語比率が**15.3%**へ上昇
- フェーズ3（約1,880億トークン）：最大100万トークンの長文書で学習し、コンテキストウィンドウを拡張
Nvidiaの参照レシピでは非英語言語の合計比率が約5%なのに対し、Soofi Sはフェーズ2でその3倍超のドイツ語データを投入している。データソースにはHPLTのドイツ語Webテキスト、オープンライセンスのGerman Commonsコーパスに加え、916のドイツ語出版物から1億9,300万本の新聞記事を含む商用ライセンスのGeniosコーパスも含まれる。
ベンチマーク結果——強い点と弱い点
16の他モデルとの比較評価で、Soofi Sは完全オープンモデルの中で英語・ドイツ語ともに総合スコアトップを記録した。Allen Institute for AIのOLMo 3 32BやETH ZurichとEPFLのApertus 70Bを上回った。
主要スコア：
- 英語総合：70.1 / ドイツ語総合：79.1
- HumanEval（コード）：73.8%、MBPP：70.2%、MBPP-DE（ドイツ語）：84.2%
- ARC-Challenge-DE：92.3、GLP-DE：88.8
- INCLUDE-DE（ドイツ地域知識）：61.2点（Qwen3.5 35B-A3Bと同点首位）
- Nemotron参照モデル比でのドイツ語能力改善：+15.1ポイント、GPQA-Diamond（大学院レベルの科学問題を問う難易度の高い評価セット）：+9.6ポイント
一方、弱点も明示されている。ドイツ語数学コンペ（Minerva MATH-DE）では56点にとどまり、Qwen3.5 35B-A3Bの76.5点やGemma 3 27Bの65.6点を大きく下回る。NaturalQuestionsでのオープン事実検索も苦手で、アクティブパラメータが実質32億のため、密な27Bモデルに比べて世界知識の保持量が少ないことが原因とされている。
長文コンテキストにも特定の弱点がある。RULER（長文脈理解を測る合成ベンチマーク）のテストにおける頻出単語抽出タスクでは、32,000トークンを超えるとヒット率が約3%まで低下する。参照モデルのNemotronが同条件で60〜64%を維持しているのと対照的だ。学習データには長文書が多数含まれる一方、抽出タスク向けの合成データが不足していたことが原因として挙げられている。
再生可能エネルギーで稼働する国産インフラで学習
学習は3月から5月にかけて、ミュンヘンにあるDeutsche TelekomのIndustrial AI Cloudで実施された。最大512基のNvidia B200 GPUを使用し、総GPU時間は約253,000時間。施設は再生可能エネルギーで運営され、冷却にはEisbachの水を使用、廃熱は周辺のTucherparkに供給されているという。Soofi Sはこのインフラ上で実施された最初期の大規模学習ランの一つだ。
開発はKI Bundesverband（ドイツAI協会）が調整するコンソーシアムが担い、フラウンホーファー研究所（IAISおよびIIS）、ドイツ人工知能研究センター（DFKI）、TUダルムシュタット、ヴュルツブルク大学、L3S研究センター、ベルリン応用科学大学、EllamindおよびMerantix Momentumが参加する。資金はドイツ連邦経済・エネルギー省からEUのIPCEI-CIS（Important Projects of Common European Interest – Cloud Infrastructure and Services）プログラムの一環として提供されている。
オープン性の範囲
モデルの重みと中間チェックポイント、学習・評価コード、データインベントリ（ソース別のトークン数・エポック数・実質寄与度）がHuggingFace上で公開されており、レビュー済みで除外されたソースも記録されている。Open Source Initiative（OSI）のOpen Source AI Definition 1.0に準拠していると報告書は述べる。
ただし、Geniosデータ（学習全体の1.3%）が商用ライセンスを持つため、「すべての学習トークンを自由に再配布可能」とするより厳格な欧州オープンデータ定義は満たしていない。訓練データの約99%は独立して再現可能だという。モデルの正式ライセンスはまだ確定していない。
リードオーサーのMichael Fromm氏が述べるように、Soofi SはEuroLLMやTeukenのような多言語欧州モデルと、高性能な国際オープンウェイトモデルの中間を狙う位置づけだ。コンソーシアムは次フェーズとして、技術文書・コード生成・エージェントシステムへの応用に向けた産業パートナーを探している。
詳細はGerman AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and Germanを参照していただきたい。
