powered by TechFeed
表示モード
Deep Dive

LinkedInが7BモデルをGPT-2サイズ(400M)まで圧縮して検索ランキングに実用投入 — 「モデルを小さく、文脈を短く」で検索・推薦基盤を支える推論最適化の全貌

11月17日、InfoQが「Scaling LLM-Based Ranking Systems for Latency-Critical Search & Recommendation Workloads」と題した記事を公開した。この記事では、LinkedInが7Bパラメータのモデルを400Mまで圧縮し、低レイテンシが要求される検索・推薦ランキングシステムにLLMを実用投入した知見について詳しく紹介されている。

11月17日、InfoQが「Scaling LLM-Based Ranking Systems for Latency-Critical Search & Recommendation Workloads」と題した記事を公開した。この記事では、LinkedInが7Bパラメータのモデルを400Mまで圧縮し、低レイテンシが要求される検索・推薦ランキングシステムにLLMを実用投入した知見について詳しく紹介されている。


登壇者はLinkedInのテックリードであるSundara Raman Ramachandran氏。SGLangのオープンソースコントリビューターでもあり、特にスコアリングAPIの開発に携わっている。

なぜ「今」LLMをランキングに使うのか

LLMをチャットボットではなく検索・推薦ランキングに応用するトレンドは、ここ数年で急速に広まりつつある。背景にあるのは、事前学習済みLLMが持つ「検索意図の理解力」と「文脈を横断した推論能力」が、従来の特徴量ベースのランキングモデルでは表現しにくかった複雑なクエリ解釈に有効であるという認識の広がりだ。

ただし、ランキング用途ではチャットボットとは桁違いの並列処理と厳格なレイテンシ制約が課される。LinkedInのような大規模プラットフォームでこれを実現するためには、モデルそのものの設計から推論インフラまでを一貫して最適化する必要がある。本記事はその具体的な実装例として、業界内でも注目に値する内容だ。

LLMランキングはチャットボットとは別物

まず押さえたいのが、「LLMをランキングに使う」ことの特殊性だ。

通常のLLM(チャットボット等)はprefill → decodeというループでトークンを逐次生成する。レイテンシは出力トークン数に比例して伸びる。

一方、ランキング用途では構造が根本的に異なる:

  • 50件の候補をランキングするなら、50本のプロンプトを同時にLLMへ投入する
  • すべてのプロンプトはクエリや検索コンテキストという長い共通プレフィックスを共有する
  • テキスト生成は不要。必要なのは「yes/noトークンそれぞれの確率値」だけ

LinkedInの本番プロンプトはシンプルで、「検索クエリ、メンバープロフィール、求人情報が与えられたとき、この求人はクエリにマッチするか?yes/noで答えよ」という形式だという。そのyes/no確率をスコアとして使い、候補をソートする。

厳しい制約はP99レイテンシSLAと数百件規模の高並列処理で、この2つが設計全体を規定している。

Part 1:モデルの圧縮(7B → 400M)

ここが最も面白いポイントだ。

LinkedInは多段階の知識蒸留(multi-teacher distillation)で、7Bモデルを400Mまで4段階で圧縮した。なお、400Mというパラメータ規模はOpenAIのGPT-2(117M〜1.5Bのバリアントが存在する)の中規模バリアントに相当する。タイトルで「GPT-2サイズ」と表現しているのはこの対応を指している:

  1. 7Bの教師モデルを用意。製品ポリシーや検索意図の理解に優れるが、本番投入は想定外
  2. 7Bから2つの中間教師モデルへそれぞれ知識蒸留。元記事によれば各モデルは独立した0.6Bモデルであり、1つは「relevance(検索結果の適合度)」、もう1つは「engagement(クリック・閲覧等の行動指標)」に特化している
  3. その2つの教師モデルからSLMランカー(small language model)を学習。両指標を同時に最適化
  4. さらにプルーニング(枝刈り)でMLPレイヤーやアテンションヘッドを除去し、最終的に400Mパラメータへ圧縮

プルーニングは品質劣化を伴うため、除去後に再蒸留・再ファインチューニングを行い、劣化を許容範囲内に収めている。

Part 2:コンテキストの圧縮(2000トークン → 1トークン)

モデルを小さくするだけでは足りない。トークン数がコストだからだ。

求人票1件あたり約2000トークン。100件を一括ランキングすると20万トークンを一度に処理することになる。LinkedInの検索・推薦基盤が抱える大規模なトラフィックでは、このままではとても耐えられない。

LinkedInが取った手順は2段階:

Step 1:LLMによるオフライン要約
別のLLMを使い、求人票を2000トークン → 150トークンに圧縮(約16分の1)。この処理はオフラインで完結させ、オンラインパスでは圧縮済みテキストをDBから取得するだけにした。品質劣化は2%未満に抑えられたという。

Step 2:埋め込みベクトル1本への圧縮
さらに研究を進め、150トークンの要約テキストをLLMの埋め込みモデルに通し、1本の密なベクトル(1トークン相当)として表現する手法を開発。計算コスト上は2000トークンが実質1トークンまで圧縮される。この処理もオフラインで完結する。

品質とスループットのトレードオフについては、記事中のグラフ(y軸:ランキング品質、x軸:スループット)で3手法を比較しており、コンテキスト圧縮が大きくトレードオフを改善することが示されている。

全体アーキテクチャの流れ

検索クエリが入ってから結果が返るまでの流れは以下の通り:

  1. クエリ理解層:自然言語クエリを構造化形式に変換(クエリプランナー → クエリタガー → クエリリライター)
  2. リトリーバル層:クエリ埋め込みを生成し、事前構築済みインデックスでKNN検索。精度よりリコール重視でtop-Kを取得
  3. ランキング層:LLMが候補をスコアリングし、ビジネスロジックで最終的な表示順を決定

ランキング層ではSGLangのスコアリングAPIを活用しており、Sundara氏自身がこのAPIの開発に貢献している。

まとめ

LLMをランキングに使う際の要点は「モデルを小さく、コンテキストを短く、推論を効率よく」という3軸に集約される。7B → 400Mへの多段階蒸留と、2000トークン → 1埋め込みへのオフライン圧縮の組み合わせが、LinkedInの本番環境での実現を支えている。LLM×ランキングというアプローチが普及しつつある中で、このような具体的な実装知見は、同様の課題を抱えるエンジニアにとって参照価値が高い。

詳細はScaling LLM-Based Ranking Systems for Latency-Critical Search & Recommendation Workloadsを参照していただきたい。