powered by TechFeed
表示モード
Deep Dive

AIワークロードの3分の2が「推論」に — トレーニング全盛から2年で逆転、チップ選びの基準が変わり始めた

11月22日、SiliconAngleが「Inference drives two-thirds of AI workloads, changing chip deployment」と題した記事を公開した。AIワークロードの推論(インファレンス)比率がトレーニングを逆転し、チップ調達やインフラ設計の判断基準を塗り替えつつある産業動向について詳しく紹介されている。

11月22日、SiliconAngleが「Inference drives two-thirds of AI workloads, changing chip deployment」と題した記事を公開した。AIワークロードの推論(インファレンス)比率がトレーニングを逆転し、チップ調達やインフラ設計の判断基準を塗り替えつつある産業動向について詳しく紹介されている。


推論が全体の3分の2に——2023年から劇的に逆転

Positron AIのセールス&事業開発責任者であるCameron McCaskill氏がSC26の取材で語った数字が、現在のAIインフラ投資の変化を端的に示している。

「今やAIインフラ上で動くワークロードの約3分の2が推論で、残り3分の1がトレーニングだ。2023年はトレーニング85%、推論15%だったのに」

わずか2〜3年でこの比率が逆転した。大規模モデルの開発フェーズが一巡し、各社が本番サービスとしてモデルを運用するフェーズに移行した結果だ。McCaskill氏は「だからこそ推論がインフラ投資の経済的意思決定を動かすようになった」と述べている。

トレーニングはNVIDIA H100クラスの高性能GPU・HBM(高帯域幅メモリ)を大量に積んだ大規模クラスターが主戦場だったが、推論は要件が異なる。レイテンシ、コスト効率、展開速度が評価軸となり、使うチップもデータセンターの形態も変わってくる。推論市場の急拡大については、a16zによる推論エコノミクスの概説なども参照されたい。


Positronのアプローチ——HBMを捨て、コモディティメモリで勝負

Positron AIは2026年9月に8億7500万ドル(約1300億円相当)を調達し、評価額50億ドルで注目を集めた推論特化型チップメーカーだ。その設計思想は業界の常識から外れている。

業界の他社がほぼ全員採用するHBMを使わず、コモディティメモリ(汎用的な民生向けメモリ)を採用している。McCaskill氏はその理由をこう説明する。

「HBMは供給が非常に限られていて、非常に高価だ。我々はコモディティメモリを選んだ」

この選択の副産物として消費電力が低く抑えられる。第1世代の「Atlas」サーバー1台あたりの消費電力は約4,500ワット、次世代「Titan」サーバーのフルラックでも40キロワット以内に収まる。これは液冷設備不要で、空冷ルームで運用できるレベルだ。

Oracleは今四半期中にAtlasサーバーを約340台クラウド上で稼働させる予定で、あるネオクラウドプロバイダーもAtlasを採用しTitanへのコミットメントを表明している。なお、Positronは来年初頭に自社設計シリコン(Titan向け)のテープアウトを予定している。


モジュラーデータセンターとの親和性——「90〜120日でトークンを売る」

電力消費の低さは、新興のモジュラーデータセンター(コンテナ型など迅速展開型の小規模データセンター)との組み合わせで真価を発揮する。McCaskill氏は現在の需要動向をこう語った。

「0.5メガワット、1メガワット、2.5メガワット規模のモジュラーデータセンターを持つ企業が増えており、彼らが我々に問い合わせてくる。土地と電力を確保してから90〜120日以内に収益化可能なトークン生成を始めたいというのが、多くの推論プレイヤーの目標だ」

大規模なハイパースケーラー向けデータセンターは許認可取得だけで年単位かかることもある。一方、数メガワット規模のモジュラー施設であれば規制上のハードルが低く、安価な電力が確保できる場所に素早く展開できる。推論ワークロードの電力要件がこの規模感にちょうど合致するため、Positronのような低消費電力チップとの相性がよい。


インフラ設計への示唆

この記事が示す変化は、AIインフラを設計・調達する立場の人間には直接影響する。

  • 電力・冷却・メモリ調達が、生のチップ性能と同等かそれ以上に展開場所の制約要因になっている
  • HBM不要の推論特化チップは、供給制約とコストの両面でNVIDIAエコシステムへの依存を下げる選択肢になりうる
  • 「大型クラスター1カ所に集中」ではなく「小型サイトに分散」という設計思想が台頭している

これらの変化は個別の最適化にとどまらず、AIインフラ全体のアーキテクチャ選定に直結する。トレーニング主体の時代に構築されたチップ調達・データセンター設計の前提を見直す契機として、この推論シフトをとらえておく必要があるだろう。

詳細はInference drives two-thirds of AI workloads, changing chip deploymentを参照していただきたい。