6月19日、Runtime Wireが「Subquadratic's founders have a new answer to the AI efficiency problem: show the benchmarks」と題した記事を公開した。スパースアテンション型LLM「SubQ」を開発するSubquadraticが、ローンチ時の証拠不足への批判に対し、第三者機関Appenによるベンチマーク結果と技術レポートを公開して反論に乗り出した経緯を伝えている。
「AI Theranos」か「Transformerを超える突破口」か
AIエンジニアのDan McAteerは、SubQのローンチを見てこう書いた。
「SubQはTransformer以来最大の突破口か……それともAI Theranos（詐欺）だ」
この二択が示すのは、Subquadraticが直面した問題の本質だ。2025年5月、マイアミを拠点とするスタートアップSubquadraticは「SubQ」をステルスから公開した。共同創業者でCEOのJustin DangelとCTOのAlex Whedonが主張するのは、トランスフォーマーの根幹にある「Dense Attention（密なアテンション）」を「Sparse Attention（疎なアテンション）」に置き換えることで、長文コンテキスト処理のコスト構造を根本から変えるというものだ。
しかしローンチ時に示されたのは自社公開のスコアのみ。SubQ自体もまだ広く一般公開されていない。この「証拠の薄さ」がそのまま懐疑論に直結した。
なぜDense Attentionがボトルネックなのか
Dense Attentionは2017年のGoogleの論文「Attention Is All You Need」で広まった仕組みで、現在のGPT系・Gemini系・Claude系を含むほぼ全てのLLMが採用している。
仕組みはシンプルで強力だが、問題は計算量がコンテキスト長の二乗で増大することだ。元記事によれば、MIT Technology Reviewの例示として1万語の入力が約5000万回の個別乗算を引き起こすとされている。
WhedonはMIT Technology Reviewにこう語っている。「本を読むとき、1語目と2語目、1語目と3語目をいちいち比較するか？ そんなことはしない」。スパースアテンションは「関係のあるトークンペアだけ計算し、それ以外を省く」というアプローチだ。
ただし、アイデア自体は新しくない。長文処理の効率化を狙ったスパースアテンションの研究はこれまでも積み重ねられており、AllenAIのLongformerやDAO-AILabのFlashAttentionといった先行研究もその系譜に連なる。問題は、アテンションの大半を省いたとき、モデルの品質がどこまで保てるかだ。Dense Attentionが依然として主流なのは、スパース化による効率化が品質劣化で相殺されてきたからである。Subquadraticはこのトレードオフをどう乗り越えたかを問われている。
第三者Appenのテストが加えた重み
6月、データアノテーション企業のAppenがSubquadraticの依頼を受け、SubQ 1.1 Small Previewの独立評価を実施した。AppenのJeanine Sinanan-Singhは、この評価が「SubQのアーキテクチャを検証した」とMIT Technology Reviewに述べている。
同時にSubquadraticは「SubQ-1.1-Small」の技術レポートも公開した。自社制作の資料ではあるが、今回は第三者評価と合わせて提示される形になっており、ローンチ時の「自称スコアのみ」という状態からは一歩前進した。
共同創業者のWhedonはタイミングの失敗を認めている。「健全な懐疑論は想定していたが、振り返ると、第三者ベンチマークを最初の発表と同時に出しておくべきだった」。
技術的な賭けと経済的な賭け
SubquadraticのSubQが狙うのは、コンテキストの長さがそのまま運用コストに跳ね返るような用途だ。具体的には以下が挙げられている。
- コードベース全体の読み込みと分析
- 大量ドキュメントの横断的な解析
- 長期間にわたるエージェントの状態保持
- 現行モデルの限界を補うRAG・チャンク分割・マルチエージェント中継レイヤーの削減
DangelはMIT Technology Reviewに「Transformerを使ってモデルを構築する人は、数年後にはいなくなると思っている」と述べた。これはGPT・Gemini・Claudeといった既存の主要モデルすべてへの正面からの挑戦だ。
元記事が指摘するように、もしSubQの主張が正しければ、RAGパイプラインやチャンク処理・要約層が「モデルが一度に全部見られないこと」への補正として存在しているという前提自体が揺らぐ。それはアプリケーション開発の設計判断（自前実装か外部オーケストレーションか）のトレードオフを変える可能性がある。
「証拠」の段階から「検証」の段階へ
Appenの評価は、SubQの主張を「調査する価値がある」レベルには引き上げた。しかしSubQはまだ広く一般に公開されておらず、外部の研究者や開発者が実際のコードベースやドキュメントセット、エージェントワークフローで試せる状況にはない。
AI業界でベンチマーク結果への信頼が低下している背景を考えると、Subquadraticの次の課題は明確だ。自社コントロール外のベンチマークで再現性を示せるか、それが評価の分岐点になる。
詳細はSubquadratic's founders have a new answer to the AI efficiency problem: show the benchmarksを参照していただきたい。
