10月24日、TechSpotが「"Dark GPUs" at Amazon show the limits of the AI buildout: chips are easy to buy, power is not」と題した記事を公開した。この記事では、Amazonが毎月数十億ドル規模でNvidiaのGPUラックを購入しているにもかかわらず、電力不足により稼働できない「ダークGPU」問題について詳しく報じている。
「買えるが、動かせない」GPUが倉庫に積み上がる
AIインフラ競争の最前線で、奇妙な事態が起きている。AmazonはNvidia製のGPUラックを大量に購入しているが、その相当数が電源すら入らないまま中間倉庫に眠っている。これが「ダークGPU」と呼ばれる現象だ。
Business Insiderが入手したAmazon社内メールによると、AWSは「Early Rack Receipt（早期ラック受領）」プロセスを通じて、8月だけで約50億ドル相当のNvidia GB300サーバーラックを受け取り、以降も毎月約30億ドル分を継続的に調達する計画であることが明らかになった。
問題は、米国内の一部のAWSデータセンター施設が、これらのサーバーを設置・起動するのに十分な電力を持っていないことだ。結果として、高価なハードウェアは最終的なデータセンターサイトの整備が完了するまで「中間」倉庫に保管されることになる。社内メールでは、あるチームが「毎月調達しているGPUをすべて実際に設置するための明確な見通しがない」と嘆く様子が記されていた。
なぜ電力が足りないのか
GPUチップそのものの調達は、かつてほど困難ではなくなってきている。問題はむしろ、大量のGPUを稼働させるために必要な電力インフラの整備が、ハードウェアの調達スピードに追いついていない点にある。
データセンターの電力インフラ整備には、送電線の新設や変電設備の拡張など、数年単位の計画と許認可手続きが伴う。一方で、Nvidiaのサーバーラックはサプライチェーンを早期に押さえさえすれば調達できる。この非対称性が「ダークGPU」問題の本質だ。
NvidiaのGB300アーキテクチャをはじめとする最新世代のAIアクセラレータは、1ラックあたりの消費電力が従来世代を大きく上回る。ハードウェアの性能向上と電力需要の増大が連動している以上、インフラ側の逼迫は今後さらに顕在化する可能性がある。
キャッシュを先に積む、異例の調達戦略
従来、AWSはラックがデータセンターに納品・設置された段階で所有権を取得するのが通例だった。しかし今は、サプライチェーンの上流段階で数十億ドルを前払いし、ハードウェアの枠を早期に確保するという異例のアプローチを採っている。
Amazonのスポークスパーソンは、完成したラックを倉庫に保管する現在の手法を「ベストビジネスプラクティス」と表現し、この投資姿勢を正当化している。
この大規模投資の財務的影響はすでに数字に表れている。Amazonのフリーキャッシュフローは直近の第2四半期にマイナスに転落しており、しばらくこの状態が続く見込みだ。今年の設備投資額は約2,200億ドルに達する見通しで、他のハイパースケーラー（Microsoft、Google、Metaなど、大規模クラウドインフラを自前で持つ巨大IT企業）を上回るペースで支出している。
Andy Jassy CEOはこの状況について、AWSがかつても同様の局面を経験してきたと述べており、長期的なリターンを見込んでの先行投資であるとの立場を崩していない。
業界全体に広がるダークGPU問題
ダークGPUはAmazonだけの問題ではない。クラウド・データセンター大手各社がこぞってハードウェアを囲い込む中、その多くが実質的に棚の上でほこりをかぶっている状態だ。そのしわ寄せは他のIT企業にも及んでおり、GPU市場での調達競争はより熾烈になっている。
チップの供給制約が緩和されつつある一方で、電力インフラという別の制約が急浮上しているという構図は、AIインフラ整備の難しさを端的に示している。ハードウェアは前払いで確保できても、電力網の整備は市場原理だけでは加速しない。規制・許認可・地域インフラとの調整が不可避であり、この問題はAIブームが続く限り業界全体の課題であり続ける。
AIインフラの拡張における真のボトルネックは、もはやチップではなく電力だという現実を、この一件は端的に示している。
詳細は"Dark GPUs" at Amazon show the limits of the AI buildout: chips are easy to buy, power is notを参照していただきたい。
