powered by TechFeed
表示モード
Deep Dive

300億ドキュメントの再ベクトル化をAIエージェントが主導 — ExaがAWS独自チップ上でエンベッディングスループットを50%向上させた全工程

11月19日、AWSが「Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips」と題した記事を公開した。この記事では、AIによるウェブ検索インフラを構築するExaが、AWS Neuronハードウェア上でエンベディングのスループットを約50%向上させた最適化の全工程について詳しく紹介されている。注目すべきは最適化の成果だけでなく、AIエージェントがその最適化プロセス自体を主導したという点だ。コスト・処理速度の双方で47%改善を達成した一連の取り組みを以下に紹介する。

11月19日、AWSが「Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips」と題した記事を公開した。この記事では、AIによるウェブ検索インフラを構築するExaが、AWS Neuronハードウェア上でエンベディングのスループットを約50%向上させた最適化の全工程について詳しく紹介されている。注目すべきは最適化の成果だけでなく、AIエージェントがその最適化プロセス自体を主導したという点だ。コスト・処理速度の双方で47%改善を達成した一連の取り組みを以下に紹介する。


AIエージェントが最適化を主導した、という事実

今回の取り組みで最も際立つのは技術的な改善幅そのものよりも、その改善をAIエージェントが自律的に推進したという開発ワークフローだ。

MLOpsワークフロープラットフォームのFlyte上に3ステップのハーネスを構築し、各エージェントが「コンパイル→正確性チェック(cosine similarity 0.999以上)→30分間の飽和ベンチマーク」というサイクルを自律的に回した。役割分担も明確で、軽量モデルはコンパイラパラメータのグリッドサーチなど反復的な単純作業を担い、推論能力の高いエージェントがボトルネックの発見を担当、コード生成能力の高いエージェントがカスタムカーネルの実装を行うという構成だ。コストと精度のバランスを保ちながら、人手では追いきれない探索空間を効率的にカバーしている。

こうしたエージェント主導の最適化ループがあったからこそ、後述する段階的かつ精緻な改善が実現できた。


数百億ドキュメントをエンベッドする、というスケールの問題

Exaは、ウェブ全体をクロールして独自のベクトルデータベースに格納するセマンティック検索エンジンだ。ユーザーの自然言語クエリをベクトル空間上でドキュメントと照合することで、従来のキーワード検索では拾えない意味的な検索を実現している。

このアーキテクチャの核心にあるのが、全ドキュメントをエンベッド(ベクトル化)するコストだ。数百億規模のドキュメントを扱う場合、1ドキュメントあたりのわずかなコスト差が膨大な数字の差に直結する。記事の言葉を借りれば「ドキュメント単位のコスト改善は、すべてにおいて複利で効いてくる」。

今回の最適化の直接的なきっかけはバックフィル(再エンベッド)だった。より優れた文書モデルへの移行にあたり、既存の300億ドキュメントを新モデルで再エンベッドする必要が生じた。これにより一時的にエンベッド負荷が2倍になり、ハードウェア選択と最適化戦略を根本から見直す好機となった。


最適化の全工程:ベースラインから47%改善へ

Exaが選んだハードウェアはAWS Inferentia2とAWS Trainium2だ。いずれもAWSが独自開発したAI推論・学習向けチップで、AWS Neuron SDKを通じてモデルを最適化できる。

最初のベースライン実装はシンプルなデータ並列・FP16モデルだった。そこから段階的な最適化を積み重ね、最終的に1Mドキュメントあたりのコストと処理速度を47%改善(元記事タイトルが示す「スループット50%向上」はこの改善の結果として達成された値)した。各ステップは以下のとおりだ。

1. 重みレイアウト最適化とAutocast

最初の改善は重みレイアウトの最適化で、モデルのスケジューリングに合わせて重みの配置を整列させ、不要なtranspose操作を削除した。一見地味な変更だが、大規模推論においてはメモリアクセスパターンの改善がそのままスループットに直結するため、後続ステップの土台として重要な位置づけにある。

続いてautocastを有効化し、コンパイラが行列積を低精度で演算できるようにした。精度の受け入れ基準は参照モデルとのcosine similarity 0.999以上と定め、これをクリアしたことで採用している。検索品質への影響を定量的に担保した上で低精度演算に踏み込んでいる点は、プロダクション導入における現実的な判断として注目に値する。

2. NKIカーネルの活用

Neuron Kernel Interface(NKI)は、一般的なモデルレイヤーに対して最適化済みのカーネルを提供するライブラリだ。ドロップイン型のAttentionカーネルを適用することで追加の改善を獲得した。このステップはカスタム実装を最小限に抑えながら既製の最適化を取り込む段階であり、後続のカスタムカーネル開発に向けたボトルネック特定の足がかりにもなっている。

3. カスタムSwiGLU MLPカーネルによるHBMスピル解消

プロファイリングツール(Neuron Explorer)を使って観察したところ、高帯域メモリ(HBM)へのスピルとリロードが多発しており、Tensor Engineが十分に活用されていないことが判明した。

既存のドロップインMLPカーネルをステップストーンとしてボトルネックを特定した後、カスタムのweight-stationary fused SwiGLU MLPカーネルを自作してHBMストールを解消した。実装は高レベルのNKI言語をメインに使い、特定のTensor演算のみ低レベルのNKI ISAに降りる構成にしており、可読性とデバッグのしやすさを維持している。

4. FLOPS削減:モデル固有の形状への特化

最終ボトルネックは、2コアを同時稼働させたときにスループットが理論値を大きく下回る点だった。コア間のコンテンションが原因と特定し、計算そのものを削減する方向に舵を切った。

汎用カーネルはあらゆる形状に対応できるよう設計されているため、パディングに余分なFLOPSが使われる。自モデルの正確なhead形状に合わせてAttentionカーネルを書き直し、パディング分のFLOPSを削減。さらに、汎用カーネルが複数ステップで処理していた演算を単一matmulに畳み込み、HBMラウンドトリップを減らした。


マルチリージョン・マルチハードウェアのスケジューリング

Inferentia2向けに積み上げた最適化はそのままTrainium2にも適用できたという。ExaはKubernetesの単一コントロールプレーンから複数リージョンにまたがって計算リソースをスケジューリングしており、インスタンスタイプ間でコストパフォーマンスを比較しながら最安のノードにポッドを詰め込む構成だ。最適化したハードウェアの種類が増えるほど、グローバルな最適解に近づく設計になっている。


詳細はExa boosts embedding throughput by 50% to index billions of documents on AWS AI chipsを参照していただきたい。