6月20日、The Next Webが「A startup says it cracked the bottleneck holding back AI」と題した記事を公開した。この記事では、LLMの根本的な計算ボトルネックである「二次注意演算」を解決したと主張するスタートアップ・Subquadraticと、その主張を部分的に裏付ける第三者テスト結果について詳しく紹介されている。主張の大胆さと証拠のギャップが業界内で激しい議論を呼んでいる。
「AIのTheranos」か、本物のブレークスルーか
マイアミのスタートアップSubquadraticが2025年5月にステルスを解除した際、AIエンジニアの間で一気に話題になった。その主張があまりにも大胆だったからだ。
X上では、あるAIエンジニアがこう書いた。
SubQは「Transformer以来最大のブレークスルーか……それともAI版Theranosか」
Theranosとは、創業者Elizabeth Holmesが血液検査技術で大々的な主張をしながら実態が伴わなかった医療スタートアップで、詐欺として摘発された事件だ。このたとえが出るくらい、当初の反応は懐疑的だった。
それもそのはずで、同社が最初に出した根拠は自社公表のベンチマークスコアのみ。資金調達額はシードラウンドで2,900万ドル（約43億円）と大きく、主張と証拠のギャップが際立っていた。
そもそも何が問題なのか：二次スケーリングの壁
現代のLLMは、Googleが2017年に提唱したTransformerアーキテクチャを核に持つ。Transformerの中心的な処理が「Dense Attention（密な注意演算）」だ。
Dense Attentionはテキスト中のすべての単語を他のすべての単語と比較する。これにより文脈の把握精度が高まるが、コストが跳ね上がる。テキストの長さを2倍にすると、計算量は約4倍になる。これが「二次（Quadratic）スケーリング」と呼ばれる問題で、LLMが膨大な電力と計算資源を必要とする主因だ。
Subquadraticのアプローチ：動的なSparse Attention
同社の解決策は「Sparse Attention（疎な注意演算）」だ。すべての単語ペアを比較するのではなく、重要なペアだけを選んで処理する。
Sparse Attentionの概念自体は新しくない。多くのチームが試みてきたが、Dense Attentionの品質には及ばなかった。Subquadraticが主張するのは、そのギャップを初めて埋めたということだ。
鍵は「どのペアを選ぶか」の決め方にある。固定パターンではなく、コンテンツに基づいて動的に選択する。共同創業者でCTOのAlex Whedonはこれを「秘伝のソース」と表現している。
第三者テストの結果
懐疑論を受け、同社はモデル評価企業Appenに独立テストを依頼した。結果は以下の通りだ。
- 速度：FlashAttention（現在広く使われている高速注意演算の実装）と比較して56倍高速
- コーディングベンチマーク：**89.7%**のスコアを記録。現時点のトップモデルに迫る水準
- コスト：Anthropicの最上位モデルで長文コンテキストのテストを実行した場合の費用は約2,600ドル。SubQでは同等のテストが8ドルで済んだと同社は主張する
さらに同社のモデルは、一度に読み込めるテキスト量が既存モデルの最大12倍という。
残る懐疑論
第三者テストでも疑問が完全に消えたわけではない。
まず、SubQはゼロから学習したモデルではない。既存のオープンウェイトモデルをベースに注意演算の部分だけ入れ替えたものだ。これ自体は一般的な手法だが、「LLMの動作原理を根本から再発明した」という主張とはやや食い違う。
OpenAI出身の独立研究者Will Depueはこう述べている。
「本物で有用なものを作った可能性はある。ただ、公開されている証拠は、二次注意ボトルネックを解決したという強い主張を正当化するには不十分だ」
また、SubQはまだほとんど公開されていない。数万人がウェイトリストに登録しているが、実際にアクセスできるのはごく一部に限られる。実運用でのベンチマーク以外の性能は、まだ検証されていない。
業界全体が狙うゴール
長文コンテキストの処理コストは、AIエージェントの普及において大きな障壁になっている。コード全体や大量の契約書を一括で処理できる安価なモデルは、業界全体が求めているものだ。
CEO Justin Dangelはこう言い切っている。「数年後には誰もTransformerの上に構築しなくなると思っている」
主張が本物かどうかは、広範なアクセス公開と実運用での検証を待つ必要がある。
詳細はA startup says it cracked the bottleneck holding back AIを参照していただきたい。
