8月31日、Computer Weeklyが「Why AI may need fewer datacentre GPUs than you think」と題した記事を公開した。この記事では、AIワークロードにおけるデータセンターGPUの重要性が一般的に思われているほど高くない可能性について詳しく紹介されている。
「フェラーリの代わりにフィアットで十分」——GPU信仰に疑問符
ニューサウスウェールズ大学AIインスティテュートのチーフサイエンティスト、Toby Walshの言葉が的を射ている。「汎用の最先端モデルを、もっと単純なモデルで事足りる用途に使うのは、フィアットで間に合うのにフェラーリで走るようなものだ。」
AIブームの中で大量のGPUを積み上げることが「正解」とされてきた。しかし実際のトレンドは別の方向を指している。焦点がトレーニングから推論（インファレンス）へと移行しつつあり、さらにその推論がエッジへと分散していく——この二つの潮流が、データセンターGPUへの依存度を着実に下げていく。
コスト削減の三つのアプローチ
1. オープンウェイトモデル＋クラウドの組み合わせ
アナリスト会社IBRSのアドバイザー、Joseph Sweeneyによれば、中国のMoonshot AIが開発したKimi K3モデルをAWS Bedrock上で実行すると、AnthropicのClaudeと比較してコストを半減できるという。ただしこれはSweeney自身の観察に基づく主張であり、ユースケースやトークン数・処理規模などの前提条件によって結果は異なりうる点には注意が必要だ。
ただしGartnerは最近のリサーチノートで留意点も示している。アジア発・オープンウェイトモデルは西側市場にISV（独立系ソフトウェアベンダー）やハイパースケーラーのマーケットプレイスを経由して間接的に届くことが多くなると予測。「プレミアムな西側モデルは、機微性が高く曖昧さを含む業務での優位性を持つ。一方、低コストのアジア発・オープンウェイト・蒸留モデルは、大量処理・測定可能・可逆的・人間によるレビューが入る業務で魅力が増す」と記している。
2. エッジ推論——スマートフォンとMacの活用
エッジでの推論は急速に現実的な選択肢になりつつある。元記事によれば、Mac miniやMac Studioを使ってエージェントをローカル実行しようとするユーザーが増加しているという。スマートフォンへの推論機能搭載も進んでおり、端末上で処理できないプロンプトのみを中央のGPUリソースへ自動ルーティングする仕組みの研究も進む。
オーストラリア発のKiraa.aiは、M1/M2/M3チップ搭載MacでリアルタイムにエンタープライズデータからAI推薦を生成するアプリを開発している。同社創業者のErrol Brandtが開発した「アナリティカル・ガード・フレーム技術」でデータ内の関係性をマッピングすることで高速処理を実現している。ターゲットは中堅のファミリーカンパニーや非上場企業だ。
3. 専用シリコン（ASIC）の台頭
最も技術的に踏み込んだ選択肢が、GPU以外の専用チップによる推論だ。
一つはモデルをチップに焼き込むアプローチ。Taalas HC1はNvidia GPUの48倍高速な推論を謳う（ただしモデルがシリコンに固定されるという制約がある）。AMDは2026年8月にトロント拠点のこのスタートアップの買収に合意している。
より柔軟な選択肢が、SambaNova製のASIC（特定用途向け集積回路）を活用したアプローチだ。Southern Cross AI（SCX.ai）のCEO、David Keaneが採用しているこの構成では、ユーザーが任意のパラメータをロードできる。さらに実用上のメリットとして、通常の空冷サーバーが使用可能（高密度GPUラックのような液冷設備が不要）で、消費電力はGPUラックの最大4分の1に抑えられる。
Keaneは「あらゆる産業は汎用技術から専用技術へと進化する。推論においてASICはすでにGPUを超えている」と断言する。
マルチモデル・ルーティングが次のキーワード
コスト削減のもう一つの軸が、適切なモデルを適切な場所で実行する仕組みだ。
SCX.aiが開発中のSCX Routerは、プロンプトを分類して最適なモデルへ振り分ける。人間が毎回最適モデルを選ぶことは現実的ではなく、ルーターの役割がそこにある。インボイス処理のように反復性の高いプロセスは、決定論的処理とAI自動化を組み合わせてもルーターなしで回せるという。
Gartnerも同様の見方を示しており、「2027年までに先進的なエンタープライズAIバイヤーは、本番GenAIワークロードに対してデータ機密性・出力権限・アクション単価に基づくポリシー制御を持つガバナンスされたマルチモデルルーティングを必要とするようになる」と予測している。
SCX.aiはオーストラリア市場向けに特化したモデルも開発済みだ。「Project Magpie」はオーストラリアの法律（ASICやAPRAの要件を含む）に精通したモデルで、「SCX-Coder」はオーストラリアのエンジニアリングチームのワークフローと標準に即したコーディングモデルだ。Keaneはこのアプローチ全体で、ファンデーションモデルのコストを最大80%削減できると主張している。ただし、この数字はKeane自身の主張に基づくものであり、特定の構成・ワークロードを前提とした試算である点は留意したい。
「推論は電気のように、計測不要なほど安くなる」
Walshは最終的に、推論コストはスマートフォンのように身近なデバイス上で動かせるほど安くなると見ている。プライバシー確保、低コスト、低レイテンシ、通信回線への非依存——これらが揃えば、AIデータセンターの必要規模は自ずと縮小していく。
大規模GPUクラスターの増設が当然視されている今、「どこで、何で、どのモデルを動かすか」を再設計する余地は大きい。
詳細はWhy AI may need fewer datacentre GPUs than you thinkを参照していただきたい。
