11月20日、Abdul Salamが「Understanding CPU, GPU, TPU, NPU, and XPU: A Practical Guide to AI Compute」と題した記事を公開した。この記事では、CPU・GPU・TPU・NPU・XPUそれぞれの設計思想の違いと、AIワークロードに応じた適切なチップの選び方について詳しく紹介されている。
「どのチップを選ぶか」以前に理解すべき本質的な対立軸
ラップトップを買う、クラウドインスタンスを選ぶ、インフラ設計書を読む——どの場面でも今や CPU、GPU、TPU、NPU、XPU といった頭字語が並ぶ。これらはすべて「同じものの競合バリエーション」ではない。
記事が冒頭で整理する核心はここだ:「汎用性と特化効率のトレードオフ」。チップが特定の演算に特化するほど、その処理は速く電力効率も上がる。しかし他の用途には使えなくなる。
ニューラルネットワークが従来ソフトウェアと根本的に異なる点も重要だ。従来プログラムは if/else 分岐、メモリ待機、タスク切り替えといった「予測不能な逐次処理」に時間を費やす。ニューラルネットワークは逆に、主に行列積という同一の演算を何十億というパラメータに対して繰り返し適用する。この特性の差が、専用チップの存在理由を生んでいる。
CPU・GPU・TPU・NPUの設計思想の違い
CPU:制御ロジックの塊
CPUはコア数が少ない(ラップトップで4〜24、データセンターサーバーで最大約200)代わりに、各コアが高度な制御ロジックを持つ。多段キャッシュ(L1/L2/L3)、投機的分岐予測、アウトオブオーダー実行——これらはすべて「予測困難な逐次コード」を低レイテンシで処理するための機構だ。
OS、Webサーバー、データベース、ネットワークI/O、データ前処理、トークナイザー、アプリケーション制御はすべてCPUが担う。Intel AMXやArm SVEといったベクトル・行列演算拡張命令により、小規模な量子化モデルや埋め込み生成もアクセラレータなしで処理できる。AWS Graviton、Google Axion、Microsoft Azure CobaltといったカスタムArmサーバーCPUは、このクラスのワークロードでのコストと電力効率を改善するために生まれた。
大規模な深層学習で壁に当たるのは、数十億パラメータを持つ重み行列の乗算に必要な「数万の同時並列計算」が、少数の高機能コアでは到底追いつかないからだ。
GPU:広い並列性とプログラム可能性の組み合わせ
GPUはシリコン面積の大半を数千の小さな並列コアと高帯域幅メモリ(コンシューマ向けGDDR、データセンター向けHBM)に割り当てる。現代のデータセンター向けGPUにはFP16/BF16/FP8/FP4といった混合精度演算専用のTensorコアまたはMatrixコアも搭載されている。
2010年代初頭、研究者たちは「ニューラルネットワークの学習」がグラフィクス処理と同じ並列アーキテクチャにそのまま乗ることに気づいた。GPUの優位性は大規模な並列性と幅広いプログラム可能性の両立にある。Transformer、拡散モデル、畳み込みネットワーク、物理シミュレーション、昨日公開されたばかりの新アーキテクチャ——すべてを同じハードウェアで走らせられる。
これはNVIDIAのCUDAプラットフォームやAMDのROCmスタックという成熟したソフトウェアエコシステムに支えられており、事実上すべてのオープンソースMLライブラリとの互換性をそのまま利用できる。トレードオフはコストと消費電力だ。
TPU:AIのためにゼロから設計されたASIC
TPUはグラフィクス処理に由来するGPUと異なり、ニューラルネットワーク専用にゼロから設計されたASIC(特定用途向け集積回路)だ。Googleは2015年に社内データセンターへ初導入し、2016年に公表した。
ラスタライザーやテクスチャマッピング回路は一切なく、代わりに大規模なSystolic Matrix Multiply Unit(MXU)を中心に構成される。シストリックアレイでは、データが演算ユニットのグリッドをリズミカルに流れ、隣接ユニット間で中間結果を直接受け渡す。レジスタへの繰り返し読み書きが不要になるため、チップ内部のデータ移動エネルギーが大幅に削減される。
TPUはXLAコンパイラおよびチップ間高速光インターコネクトと共同設計されており、数千のTPUを「クラウドポッド」として一体運用できる。記事公開当時の最新世代として紹介されている第7世代Ironwoodポッドおよび第8世代TPU 8t/8iは、フロンティアモデルの学習と長コンテキスト推論に特化したメモリとネットワーク構成を持つ。
TPUはスタンドアロンのハードウェアカードとしては販売されておらず、Google Cloud経由(JAX、PyTorch、Keras対応)またはTPUインフラで動くAIサービス経由でアクセスする。
NPU:バッテリー駆動デバイスのための推論エンジン
NPUはGPU・TPUとは逆の問題を解く:数ワットの電力でバッテリー駆動のスマートフォン、ラップトップ、カメラ、センサーの上でAIを動かすこと。
NPUは独立した拡張カードではなく、CPU・統合GPUと同じSoC(System-on-Chip)に統合されたIPブロックとして実装される。Appleが2017年にモバイルチップへNeural Engineを搭載したのを皮切りに、QualcommのHexagon NPU、IntelのCore Ultra NPU、AMDのRyzen AI XDNAエンジンが後に続いた(GoogleのPixelスマートフォンでは「モバイルTPU」と呼ばれる)。
NPUが担うのは低精度推論(INT8、FP8、INT4の量子化重み)だ。ビデオ通話の背景ぼかし、リアルタイム字幕、ウェイクワード検出、写真補正、オンデバイス小型言語モデルといった、継続稼働・オフライン・プライバシー優先の処理に使われる。大規模モデルの学習には非対応で、メモリ容量と対応演算子セットの制約から軽量アーキテクチャに限られる。
XPUは「チップの種類」ではない
XPUは特定の回路設計を指す言葉ではない。業界では2つの異なる意味で使われている。
1つ目は「任意のアクセラレータ」の総称。IntelがoneAPIとともに広めた用法で、「X」は代数変数を意味する。アプリケーションの要求に応じて、XはCPUにも、GPUにも、NPUにも、FPGAにもなる。各タスクを最適なエンジンにルーティングするヘテロジニアスコンピューティングの考え方を反映した言葉だ。
2つ目は「ハイパースケール向けカスタムAI ASIC」。BroadcomやMarvellのような半導体パートナーが、特定クラウドプロバイダーまたはAIラボ向けに共同設計したカスタムASICを指す。具体例はGoogle Cloud TPU、AWS Trainium/Inferentia、Microsoft Maia、Meta MTIAなどだ。この定義ではTPUはXPUの一種となる。
汎用AIアクセラレータ(NVIDIAやAMDのGPUなど)はあらゆるクラウドや自社サーバーで利用できる移植性が最大の強みだ。一方、カスタムクラウドXPUはそのプロバイダーの内部ネットワーク・コンパイラ・主要AIワークロードに特化して調整されており、自社サーバーへの導入はできない。その代わり、大規模運用では「トークン当たりコスト」と「ワット当たり性能」で優位に立つ設計になっている。
本番AIシステムは複数チップを組み合わせて動く
「1つのプロセッサで全部やる」は誤解だ。実際の本番AIアプリケーションはパイプラインの各段階で複数チップを連携させる。
ラップトップやスマートフォン上でAIアシスタントを使う場面を例にとると:
- クライアントデバイス:NPUがウェイクワード検出やマイクノイズキャンセルを低電力で処理。クライアントCPU・統合GPUがUIレンダリングとネットワーク要求を管理する。
- クラウドホスト層:DPU/IPUが暗号化パケットと仮想化オーバーヘッドを処理。サーバーCPUがリクエスト認証、ベクトルDB検索(RAG)、プロンプトのトークナイズ、ツール呼び出しの制御を担う。
- アクセラレータ層:レイテンシ目標・モデルサイズ・提供量に応じて、GPU・TPU/カスタムクラウドXPU・特化型推論ASIC(LPUなど)が重いニューラルネットワーク演算を実行する。
各層の役割を把握しておくことで、ボトルネックがどこにあるかの見当が付きやすくなる。たとえばレイテンシが問題なら推論チップの性能だけでなく、ホスト層のトークナイズ処理やKVキャッシュ管理の最適化も同時に検討すべきだということが見えてくる。
チップ選定で「スペックシートの数字」より先に確認すべきこと
記事はチップ評価の実務的観点として、ピーク演算性能(FLOPSやTOPS)の数字より先に確認すべき複数の観点を挙げている。
その筆頭がメモリ容量と帯域幅だ。大規模言語モデルはしばしばメモリに律速される。700億パラメータのモデルをBF16/FP16(2バイト/パラメータ)で保持するだけで約140GBが必要になり、80GBのデータセンターGPU1枚には収まらない。同じモデルを4ビット量子化(〜0.5バイト/パラメータ)すれば約35GBに圧縮され、ハイメモリワークステーションカードや高メモリラップトップ1台に収まる——会話履歴と同時接続ユーザー数に応じて膨らむKVキャッシュの分を除いて。
メモリ以外にも、記事は実務上見落としやすい観点としてソフトウェアエコシステムの成熟度を挙げている。PyTorch・JAX・主要推論ランタイムとの対応状況、ライブラリのバグ修正速度、コミュニティの規模は、ハードウェアスペックと同等かそれ以上に開発・運用コストに直結する。
またベンダーロックインのリスクも無視できない。特定クラウドのカスタムXPUで最適化されたワークロードは、そのプロバイダーへの依存度が高まる。移植性とコスト最適化のバランスをどう取るかは、チップ選定の前に組織として方針を決めておくべき問いだ。
さらにTCO(総所有コスト)の観点も重要で、ピーク性能あたりの価格だけでなく、電力・冷却・ライセンス・運用人件費を含めたトータルコストで評価しなければ、実運用での選定判断を誤ることになる。
詳細はUnderstanding CPU, GPU, TPU, NPU, and XPU: A Practical Guide to AI Computeを参照していただきたい。




