10月13日、Meta Engineering（engineering.fb.com）が「Meta's Generative Ads Model (GEM): Scaling the Central Model and Compute Engine for Frontier Ads AI」と題した記事を公開した。この記事では、業界最大規模の広告推薦システム基盤モデル「GEM」の2026年世代における技術的進化について詳しく紹介されている。
GEMとは何か
GEM（Generative Ads Model）は、Metaが2025年に発表した広告推薦システム（RecSys）の基盤モデルだ。従来のRecSysはFacebook、Instagram、Reelsといったサービスごとに独立した予測システムを持っていたが、GEMはこれを単一の中央基盤モデルに統合する。LLM（大規模言語モデル）の設計思想を広告推薦に持ち込んだ、Metaにとって初のアーキテクチャである。
2026年世代のGEMが達成した成果は具体的だ。コンバージョン率18.9%改善、広告クリック率（CTR）12%改善を全サーフェス・全目標にわたって達成。さらに特定ユーザーへのターゲティングにおいては、**Facebook +5.8%、Instagram +4.1%、オフサイトコンバージョン +1.6%**のアップリフトを記録した。
最大の技術的挑戦：RecSysにLLMのスケーリング則を適用する
この記事で最も面白いのは、「LLMでは自明なスケーリング則が、RecSysでは成立しなかった」という問題提起とその解決策だ。
LLMではパラメータ数・計算量・データ量を増やせば性能が予測通り向上するという「スケーリング則」が知られている。しかしRecSysは、異種混合の特徴量（ユーザー属性、広告内容、行動履歴など）と分布の継続的なシフトにより、同じトランスフォーマー構造を使っても素直にスケールしなかった。
Metaはこの問題に対し、Kunlunと名付けた新アーキテクチャを開発した（論文はarXivで公開済み）。Kunlunは最新GPU世代とのco-designを前提に設計されており、以下の3つの工夫が核心にある。
1. Block Attention によるシーケンス長の計算量削減
従来のfull self-attentionは計算量がシーケンス長の二乗で増大する。Kunlunはblock-aligned sparse attentionを採用し、これを線形（ウィンドウサイズ基準）に抑えた。GPUカーネルの効率を最大化するため、ブロックサイズの倍数のみを使う設計にしてある点も実装上の工夫だ。
2. Generalized Dot-Product Attention（GDPA）による演算統合
Per-Example Feed-Forward Networks（pFFN）をアテンション演算に再定式化するGDPAを導入し、多数のアテンション系演算を単一GPUカーネルに統合。フォワードパスを最大2倍高速化した。
3. Component Skip Connection（CompSkip）
シーケンスモジュールを選択的にスキップする機構を導入し、FLOPSを43%削減した。元記事では品質への影響について「minimal quality impact」と表現されており、劣化がほぼ生じないことを示しているが、無損失である旨の明示はない点には注意が必要だ。
結果として、Kunlunは旧アーキテクチャ（Interformer）比で同一計算量で2倍の性能向上を達成し、モデル複雑度を2.5倍にスケールさせることに成功した。
ウルトラロングシーケンスと二つのスケーリング則
Kunlunによって可能になったもう一つの発見が「ウルトラロングシーケンス」の有効性だ。GEMは本番環境でユーザーエンゲージメント履歴のコンテキスト長を2倍にスケールさせ、インフラ検証では25倍までのスケールが可能であることを確認している。
この過程で判明した二つのスケーリング則は重要だ：
- 予測品質はシーケンス長に対してべき乗則に従う（予測可能かつ一貫）
- 大きなモデルほど長いシーケンスから不均衡に恩恵を受ける
つまり、計算量を増やすとモデルが大きくなり、長いシーケンスがより価値を持つ。長いシーケンスを処理するとモデルが精度を上げ、さらなる計算投資が正当化される。この正のフィードバックループが、スケーリング則の曲線を単純な計算量増加以上に押し曲げる投資方針を示している。
リアルタイム配信への知識転送：LoopFMとSolaris
GEMのような巨大モデルをリアルタイムで全広告候補に適用することはレイテンシ的に不可能だ。Metaはこの問題をポストトレーニング技術で解決している。
LoopFM（論文）は、GEMが内部で生成した構造化表現と深い履歴メモリを下流モデルへ転送する仕組みだ。LoopFMの役割は「GEMが学習した豊かな表現を、レイテンシ制約のある下流の軽量モデルへ事後的に受け渡すこと」にある。従来の知識蒸留（ソフトラベルの転送）に加え、GEMが過去に同一ユーザーに対して生成した表現を時系列コンテキストウィンドウとして構造化し、下流モデルが長コンテキストの知識を学習できるようにする。追加の計算コストやレイテンシなしに、知識転送の効果を2倍に高めた。
Solaris（論文）は、LoopFMとは異なるアプローチで同じ課題に対処する。「投機的事前計算（Speculative Precomputation）」と呼ばれる手法を採用しており、リクエストが来る前に上流モデルの計算結果を先読みして用意しておくことで、実際の推論時には事前計算済みの成果を即座に下流モデルへ渡す設計だ。LoopFMが「表現の蒸留・転送」に主眼を置くのに対し、Solarisは「計算タイミングの前倒し」によってリアルタイム性と精度を両立させる点が特徴的である。
学習インフラ：4倍のFLOPS、2倍のGPU効率
数千GPU規模でのRecSys基盤モデル学習は、LLMとは異なる困難を持つ。RecSysの独特なデータ特性（疎なembedding、異種特徴量）は、LLM向けに最適化されたデータセンターGPUでは高いMFU（Model FLOPS Utilization）の達成を妨げる。
Metaはカスタムカーネル（低精度演算）と新しい5次元並列化戦略をGPUハードウェアとco-designで開発した。5次元並列化とは、データ並列（Data Parallelism）・テンソル並列（Tensor Parallelism）・パイプライン並列（Pipeline Parallelism）・シーケンス並列（Sequence Parallelism）・エキスパート並列（Expert Parallelism）の5つの軸で計算を分散させるアプローチで、RecSys特有の疎なembeddingや不均一な特徴量の分布に対し、各次元を組み合わせて通信コストと計算効率を最適化する。この戦略により、E2E学習効率をMFU 20〜25%まで2倍に向上させながら、総学習FLOPSを4倍にスケールさせた。学習インフラの詳細は別途companion blogで公開されている。
まとめ
GEMの技術的な要点は三点に集約される。①LLMのスケーリング則をRecSysに適用するためのKunlunアーキテクチャ、②巨大基盤モデルの知識をレイテンシなしで下流モデルへ転送するLoopFM/Solaris、③数千GPU規模での効率的な学習基盤——これらが組み合わさることで、単一の中央基盤モデルが全サーフェス・全ファネルの広告性能を同時に改善する体制が実現した。
詳細はMeta's Generative Ads Model (GEM): Scaling the Central Model and Compute Engine for Frontier Ads AIを参照していただきたい。
