10月20日、Google Cloudが「TorchTPU is now open source: Run native PyTorch on TPUs」と題した記事を公開した。PyTorchの標準的なワークフローをそのままTPU上で動かせる「TorchTPU」をオープンソース化し、vLLM・SGLang・Hugging Face・TorchTitanなど主要エコシステム全体にTPUサポートを組み込んだ一連のリリースを発表している。Metaが本番のLLM・広告・レコメンドシステムへの適用を明言し、1,000 TPUあたりの生成トークン数が4倍超に向上した実運用事例も報告されており、「実験段階」を超えた話として注目に値する。
NvidiaのCUDA独占に対するGoogleの答え
PyTorchはGPU（CUDA）を前提に設計されてきた歴史があり、TPUやその他のアクセラレータは「二級市民」扱いされることが多かった。今回のTorchTPUオープンソース化は、その構造に正面から切り込む動きだ。
TorchTPUはMetaのPyTorchチームとの共同開発で生まれた。既存のPyTorchコードをほぼそのままTPU上で動かせるよう設計されており、使い慣れたAPIをそのまま使える。開発フローも現実的で、デバッグはeager modeで行い、本番投入前にtorch.compileでTPU最適化を適用するという段階的なアプローチが取れる。
Metaの立場からのコメントが、この取り組みの重みを端的に示している。
「AIのフロンティアを推進するには膨大な計算規模と深いハードウェア多様性が必要だ。単一のハードウェアアーキテクチャに縛られてはいられない。TorchTPUは大きな前進だ。LLM、広告、レコメンデーションシステムといった主要な本番ユースケースでの実用を支えながら、コアのML基盤チームと柔軟にハードウェアを共同開発できるようになった。」
— Jana van Greunen、Meta PyTorchエンジニアリング ディレクター
Metaが本番のLLM・広告・レコメンドシステムへの適用を明言しているのは、実験段階ではなく実運用レベルの話であることを示す。
Hugging Faceとの統合：device_map="tpu"の一行で動く
Hugging Faceとの協力により、**Transformers v5ではTPUへのモデルデプロイがdevice_map="tpu"を渡すだけ**で完結するようになった。Diffusersライブラリもeager mode、torch.compile、テンソル並列性をTPU上でネイティブサポートしており、大規模な生成モデルを複数アクセラレータにスケールさせる用途にも対応する。Hugging Face Transformersスイートの継続的な夜間テスト用CI/CDパイプラインも構築されており、品質維持の仕組みも整えられている。
推論スタックへの統合：vLLM、SGLang、llm-d
推論コストとレイテンシが本番ボトルネックになる状況を受け、主要なオープンソース推論エンジンにもTorchTPUが統合された。
vLLMでは、Inferactとの共同開発によるTPUネイティブバックエンドが提供される。連続バッチ処理、量子化、マルチチップ並列性をサポートしており、既存の推論スタックへの変更は不要だ。vLLM-TorchTPUはGitHubで公開されている。
SGLangでは、RadixArkとの協力でRadixAttentionが機能する。RadixAttentionとはKVキャッシュを複数リクエスト間で共有・再利用する仕組みで、同一プロンプトプレフィックスの再計算をスキップすることでレイテンシとメモリ効率を改善する。システムプロンプトが共通するエージェント型ワークロードや、構造化出力を繰り返し生成するバッチ処理で特に効果を発揮する。
llm-d 1.0はRed Hat、IBM、500名超のコントリビュータ・25組織とともにリリースされる。CNCF（Cloud Native Computing Foundation）サンドボックスプロジェクトへの認定を受けており、これはKubernetesエコシステムにおける標準的なガバナンスと長期メンテナンスが保証される段階に入ったことを意味する。KubernetesとPyTorchエコシステム（vLLM・SGLang）を橋渡しし、プレフィックスキャッシュ対応ルーティングやprefill/decodeの分離によってスループットを大きく改善する。リポジトリはllm-d/llm-dで公開されている。Zenteiq.aiの事例では、1,000 TPU v6eあたりの日次生成トークン数が14.7億から59.7億へ、4倍超に向上したと報告されている。
大規模トレーニング：最大8,000 TPUでの検証済み
トレーニング側では**TorchTitanがTorchTPUとのプロダクション統合を提供する。Llama 3 70B/405B、Qwen 3 8B/32B/235B、FLUX.1 12Bなどの事前学習レシピが用意されており、最大8,000 Ironwood TPU（TPU v7x）での動作が検証済みだ。Qwen 3 8Bで最大52% MFU（Model Flops Utilization：理論演算性能に対する実効演算効率の比率）**を達成し、8,192 TPUスケールでほぼ線形のスケーリング特性を示している。
強化学習フレームワーク**VeRLにもTPUバックエンドが追加された。GRPO（Group Relative Policy Optimization）**の参照レシピが提供されている。GRPOはPPOの変形で、グループ内の相対的な報酬を基準に方策を更新する手法であり、数学的推論データセットでの後学習（post-training）に適している。
**Ray**にもTorchTPUのネイティブサポートが追加され、CPU・GPU・TPUにまたがるヘテロジニアスなAIパイプラインを単一ワークフローで管理できるようになった。
エッジ向け：LiteRTがPyTorchエコシステムに参加
クラウド側だけでなく、エッジ推論にも動きがある。旧TensorFlow Liteである**LiteRT**がPyTorchエコシステムに加わった。litert-torch.convert()一行でPyTorchモデルを変換でき、Android・iOS・macOS・Windows・Linux・Web・IoTデバイスで動作する。LLMはHugging Face TransformerモデルをエクスポートしてLiteRT-LMで実行できる。
また、TPUへのオンボーディングや推論パフォーマンスチューニングを自動化する**TPUエージェントスイート**もプレビュー公開された。
今回の一連のリリースで、TorchTPU・Hugging Face・vLLM・SGLang・llm-d・TorchTitan・VeRL・Rayという主要コンポーネントすべてにTPUサポートが組み込まれた。PyTorchの標準的なワークフローを変えずにTPUを選択肢に加えられる環境が、オープンソースとして整備されたことになる。
詳細はTorchTPU is now open source: Run native PyTorch on TPUsを参照していただきたい。
