11月14日、Microsoft DirectX Developer Blogが「Challenges of building machine learning compilers across varying hardware architecture」と題した記事を公開した。多様なハードウェアアーキテクチャを横断するMLコンパイラを構築する際の構造的な難しさについて、Microsoftのエンジニアが詳しく解説している。
なぜ今、MLコンパイラの標準化が問題になっているのか
AIモデルの推論・学習を効率よく実行するためのMLコンパイラは、ここ数年で急速に多様化している。ONNX Runtimeのようなクロスプラットフォームランタイム、MetaのGlow、ApacheのTVM、そしてLLVMプロジェクト傘下のMLIRなど、各スタックがそれぞれ異なる設計哲学でハードウェア抽象化に挑んでいる。
しかし現実には、GPU・NPU・DSPといったアクセラレータが乱立し、それぞれ異なるメモリ階層・演算ユニット・命令セットを持つ中で、「一つのコンパイラで全ハードウェアをカバーする」ことはきわめて難しい。ONNXのようなモデル交換フォーマットの標準化は進んでいるが、コンパイラの最適化戦略そのものはハードウェアごとに根本から異なるのが実態だ。Microsoftが今回この課題を正面から論じた背景には、Windows上でNPUを含む多様なシリコンに対応するDirectX MLスタックの開発経験がある。
「理論スループットの5〜10%しか出ない」という現実
MLコンパイラ開発の現場で繰り返されるギャップがある。モデルがXトリリオンOPS(TOPS)を必要とし、ハードウェアがY「AI TOPS」を謳っている。ならばX/Y秒で動くはず——実際には、期待スループットの5〜10%程度しか達成できないことが多い、と記事は述べている。
原因はコンピュートとメモリアクセスの比率にある。ハイエンドGPUでは、DRAMへの1バイトアクセスあたり数百回の演算をこなさないと、ハードウェア効率を最大化できない。ネットワークをレイヤーごとに逐次処理していては、この比率に届くことはほぼ不可能だ。だからこそオペレータフュージョン(複数の演算を一まとめにして実行する技法で、メモリ往復を削減しコンピュート密度を高める)が重要になる。
ところが、フュージョンは「隣り合う2つの演算を結合する」ような単純な話ではない。MMA(Matrix Multiply-Accumulate:行列の積和演算を一括処理するハードウェア命令)、畳み込み、リダクション、アップサンプリングといった重量級オペレータをまたいだフュージョンが必要になる。しかも、「どれだけフュージョンが必要か」「どこまでフュージョンが可能か」は、ハードウェアごとに異なる——これが問題の核心だ。
複数のIRレイヤーにまたがる「責任の分断」問題
MLコンパイラは通常、複数の中間表現(IR)レイヤーを持つ。グラフレベル、カーネルレベル、タイルレベルといった抽象度の異なる表現を積み重ねる構成だ。記事ではMLIR(Multi-Level Intermediate Representation)をはじめ、Glow、EONなどのフレームワークに言及している。
問題は「複数レイヤーを持つこと」ではなく、レイヤー間で責任が分断されることにある。上位レイヤーが「あとは下位レイヤーが最適化してくれる」という前提で判断を先送りすると、どのグラフパターンが高速パスを通り、どれがフォールバックや遅いパスに落ちるかが予測できなくなる。
この「終盤になって初めてわかる」動態が特に厄介だ。問題が発覚した時点では、ハードウェアターゲットごとにグラフの分割方法やタイリング(大きな演算をオンチップメモリに収まるサイズのブロックに分割して処理する手法)、レイアウトを手直しするなど、高コストなバックトラックを強いられる。記事はこれを「スケーラブルで高性能なMLコンパイラを多様なハードウェアで実現する上でのコアな課題の一つ」と明言している。
解決策として記事が示す方向性は、静的なプリミティブ粒度の選択とグリーディな分割だけに頼るアプローチを超えること。グラフレベルの可視性と制御をコンポーネントレイヤー間で共有するための、より豊かな協調インターフェースが必要だとしている。
スケジューリングとメモリ管理:クライアントとサーバーで異なる制約
最適化はフュージョンだけでは完結しない。テンソルのレイアウト、アルゴリズムの分割とストリーミング、キャッシュ利用、データフォーマット、タイリング、コンピュートステンシル(演算カーネルがデータ空間上をどのパターンで走査するかを定めるアクセスパターンの抽象)といった要素が相互に絡み合う。さらにこれらは、MMAサイズ、オンチップメモリ容量、レジスタファイルの制限、スレッド間のデータ共有と同期といったハードウェア固有の詳細と密結合している。
記事が挙げる具体例が分かりやすい。クライアントサイド推論では、バッチサイズ1のリアルタイムモデルが約2msの厳格なレイテンシ要件で動く。大量データをDRAMに通すことは非現実的だ。一方サーバーサイドでは、高帯域幅メモリ(HBM)と大バッチサイズが使えるため、制約の性質が根本から異なる。同一のコンパイラスタックで両方をカバーするには、この差異を意識した設計が不可欠だ。
MicrosoftのアプローチとDirectXの位置づけ
記事の結論として、解決策は「フロントエンドフレームワーク寄りの高レイヤー(使いやすさ優先だがクロスデバイス一貫性や低レベル制御に課題)」と「個別オペレータ向けの低レイヤー(グラフィクスとの親和性は高いがスケーラビリティに懸念)」の中間に位置すると述べている。
Microsoftはこの課題に対し、DirectX Compute Graph Compiler(DXCGC)、Windows ML、マルチレベルIRアーキテクチャの組み合わせで取り組んでいると明かしている。詳細はMicrosoft Ignite 2025のセッションBRK388で披露されている(本記事公開の翌日、2024年11月19日前後に合わせて公開された内容と見られる)。
関連する背景として、DirectXのML時代への進化についてはEvolving DirectX for the ML Era on Windowsも参照できる。
詳細はChallenges of building machine learning compilers across varying hardware architectureを参照していただきたい。




