6月25日、Dataconomyが「OpenAI unveils first custom inference chip named Jalapeño」と題した記事を公開した。OpenAIがBroadcomと共同開発した初の自社推論チップ「Jalapeño」の発表について詳しく紹介している。
NvidiaへのGPU依存からの脱却
OpenAIが自社製推論チップ「Jalapeño」を発表した。ASICカスタムチップの受託設計を主力事業とする半導体大手Broadcomとの共同開発によるもので、OpenAIにとって初のカスタムシリコンとなる。BroadcomとのパートナーシップはOpenAIが以前に公式発表していた。
Nvidiaのハードウェアへの依存度を下げる手段としてカスタムチップの開発が注目されてきた背景がある。Google（TPU）やAmazon（Trainium/Inferentia）といった大手はすでに独自のAIアクセラレータを展開しており、OpenAIもその流れに乗る形だ。
Jalapeñoは「推論専用」チップ
Jalapeñoが対象とするのは推論（inference）タスクに限定される。推論とは、学習済みのAIモデルをユーザーの入力に対して適用する処理のことで、ChatGPTへの問い合わせ応答などがその典型だ。
OpenAIによれば、リアルタイムのコーディングモデル（Codexなど）の運用においてコストを抑えられるとしている。一方、モデルの事前学習（pre-training）のような処理負荷の高い用途ではNvidiaのハードウェアが引き続き必要になるとも述べており、完全な脱Nvidiaを意図したものではない。
現時点でチップはテスト段階にあるが、性能/消費電力比（performance-per-watt）において現行の主要な代替製品を大幅に上回る初期結果が出ているという。
なぜ推論コストの削減がOpenAIにとって重要か
OpenAIはモデルの開発と並行して、製品（Codex等）の提供、データセンターの整備、チップ設計まで技術スタック全体を自社で手がける方針を打ち出している。推論コストのわずかな削減でも、大規模な商用サービスを運営するOpenAIの収益性に直結する。
Greg Brockman（OpenAI社長）は社内ポッドキャストでこう述べている（元記事より引用）。
「私たちはワークロードについて深い理解を持っている。特定のワークロードで十分にサービスされていない領域を探し、そこで何が加速できるかを問い続けてきた。」
インフラ全層にわたる最適化戦略
OpenAIが公表した戦略によれば、設計の対象はチップアーキテクチャにとどまらず、カーネル、メモリシステム、ネットワーク、スケジューリング、デプロイシステムまで含む。全レイヤーにわたる一体的な最適化により、より高速で信頼性が高く低コストなモデル提供を目指すとしている。
なお、チップ開発にあたってはOpenAI自身のAIモデルが設計に貢献したとも明かしている。
詳細はOpenAI unveils first custom inference chip named Jalapeñoを参照していただきたい。
