Pinterestがクラスタリングを40億パラメータLLMに置き換え — 「ユーザーの意図を読む」仕組みを刷新してメール・プッシュ通知の反応率が改善

11月9日、Matt Fosterが「Pinterest Replaces Journey Clustering with 4B Qwen3 LLM, Reports Improved Engagement」と題した記事を公開した。Pinterestがユーザージャーニー推論システムを多段階クラスタリングパイプラインから40億パラメータのLLMへ置き換え、エンゲージメント指標が改善した事例について詳しく紹介されている。

クラスタリングからLLMへ：なぜ置き換えたのか

Pinterestが言う「ジャーニー」とは、複数のセッションをまたいで一貫した目標として現れるユーザーの行動パターンだ。キッチンリノベーション中のユーザーなら、キャビネットのデザインを検索し、カウンタートップのアイデアを保存し、後日バックスプラッシュタイルや照明を探す——これらのバラバラな行動を「キッチンリノベーション」という一つのゴールとして捉える概念である。

旧システムはユーザーの行動からキーワードを抽出し、埋め込み表現と階層的クラスタリングでグルーピングし、追加のモデルと多様性ヒューリスティックでランキングする多段構成だった。以前の興味ベースの通知より精度は高かったものの、関連する行動が別々のジャーニーに分断される、ラベルが汎用的すぎる、偶発的なエンゲージメントを継続的な意図と誤認する——といった構造的な問題が残っていた。ルールとヒューリスティックが積み重なった多段パイプラインでは、こうした限界を個別に修正し続けることに限界があり、LLMによる再設計に踏み切る動機となった。

生成タスクとして解く

新システムはジャーニー推論をテキスト生成タスクとして定式化した。ファインチューニング済みのLLMが、360日間にわたる最大150件のユーザーアクションの時系列履歴とコンパクトなユーザープロファイルを受け取り、ランク付きのジャーニー名リストを生成する。

プロンプト設計にも工夫がある。検索と保存アクションは偶発的なクリックより重く扱われ、繰り返しのエンゲージメント・直近性・具体性を考慮するよう指示が含まれる。無関係な興味を統合しないこと、一度きりの行動やノイジーな自動生成タグは抑制すること、十分な根拠がなければ空の結果を返すことも明示されている。旧システムでランキングと絞り込みが担っていたロジックの多くがプロンプトへ移管された形だ。Pinterestはこのプロンプトへの変更を「単なる編集」ではなく本番リリースとして扱っている。

（ジャーニー推論の仕組み — 出典: Pinterest）

モデル選定とトレーニング

大規模な人手ラベルデータセットを用意せず、フロンティアモデル（GPT-4クラスの大型モデル）でユーザー行動履歴から合成トレーニングサンプルを生成し、それを使って小型のオープンウェイトモデルである**Qwen3-4B**をLoRA（Low-Rank Adaptation）でファインチューニングした。

0.6Bから8Bまでのモデルをテストした結果、推論品質とスループットのバランスが最も良い4Bモデルを本番採用した。

Pinterestスケールでの推論インフラ

大規模サービングのために、**NVIDIA Dynamo**をvLLMワーカーのフロントに配置し、L40S GPU上で稼働させている。連続バッチ処理（Continuous Batching）、PagedAttention、プレフィックスキャッシュを意識したルーティングを組み合わせて推論効率を高めている。

ただし、スループット改善で最も効いたのはアーキテクチャの工夫ではなく、不要な推論をそもそも実行しないことだった。各ユーザーのジャーニーが最後に生成された日時を追跡し、直近数日以内に処理済みのユーザーはスキップする仕組みになっている。

（ジャーニー推論アーキテクチャ — 出典: Pinterest）

評価と結果

品質評価には、人手によるサイドバイサイド比較、LLMジャッジによる関連性評価、オンライン実験を組み合わせた。米国・カナダでのA/Bテストでは、クラスタリングベースのシステムと比較してメールのクリック率が1.1%改善、プッシュ通知の開封率が1.3%向上した。エンゲージメントとリテンションでも統計的に有意な改善が確認されている。

この数字だけ見ると改善幅が小さく感じられるかもしれないが、メールやプッシュ通知のクリック率・開封率はもともと数%台で推移することが多く、Pinterestほどの規模のサービスでは1%台の改善でも絶対的なユーザー数・収益インパクトは相当大きい。加えて、エンゲージメントとリテンション双方で統計的有意性が確認された点は、単なるノイズではなくシステム変更が真に効いていることを示している。

類似のアプローチとして、Netflixが長期的なユーザーインタラクション履歴から再利用可能な表現を学習する基盤モデルを開発していることが記事内で言及されている。Netflixは再利用可能な嗜好表現の学習に注力し、Pinterestは明示的なジャーニー記述の生成を採用している点で手法は異なるが、いずれも長期的な行動履歴で既存のパーソナライゼーション基盤を強化するという方向性は共通している。

詳細はPinterest Replaces Journey Clustering with 4B Qwen3 LLM, Reports Improved Engagementを参照していただきたい。