powered by TechFeed
表示モード
Deep Dive

NetflixがAIを「既存スタックに追加」ではなく「中心に再設計」してTV向けコンテンツ探索機能を構築した話

11月18日、Netflixエンジニアリングチームが「Engineering AI Discover」と題した記事を公開した。この記事では、NetflixのTV向け新機能「AI Discover」を支えるインテリジェンスレイヤーの設計思想とアーキテクチャについて詳しく紹介されている。

11月18日、Netflixエンジニアリングチームが「Engineering AI Discover」と題した記事を公開した。この記事では、NetflixのTV向け新機能「AI Discover」を支えるインテリジェンスレイヤーの設計思想とアーキテクチャについて詳しく紹介されている。


「AIを既存システムに追加する」ではなく「AIを中心に設計する」

NetflixはTV向けアプリに「AI Discover」タブを追加した。ユーザーが「Quick Watches」のようなテーマを選ぶと、マッチするタイトル一覧、その理由、さらに絞り込み用のサブテーマが表示される。従来のレコメンデーションがビューイング履歴から「暗黙に」おすすめするのに対し、AI Discoverはユーザーが能動的に探索を操作できる設計だ。Netflixがこれまで培ってきた協調フィルタリングベースのレコメンデーション技術(Netflix Research: Recommendation Systems)とは根本的に異なるアプローチといえる。

技術的に面白いのは、「LLMを既存スタックに組み込む」という方針を明確に捨てた点だ。記事の著者陣は「簡単な道はLLMをランカーとして差し込み、今の遅延予算を維持することだった」と述べている。しかし実際にはテーマ生成、行の説明文生成、テイスト要約、プランニングといった「LLMにしかできない仕事」を中心にUXを再設計した。リモコンで操作するTV向けに、テキスト入力を一切排除したのもこの判断の一環だ。


コアアーキテクチャ:コントローラーとエグゼキューター

AI Discoverのバックエンドには「インテリジェンスレイヤー」と呼ばれる新しい層が存在し、コントローラーとエグゼキューターの2コンポーネントで構成される。

コントローラーはリクエストごとに「プラン」を決定する。プランはステップのグラフで、各ステップが「capability(ケイパビリティ)」と呼ばれる処理単位を実行する。ケイパビリティは検索・ランキング・生成・パッケージングといったファミリーに属し、入出力・参照可能なコンテキスト・フォールバック挙動を事前に宣言する。コントローラーはプランを実行前に検証し、ループがないか、全入力に生産者があるか、ページが必ず1枚で終わるかを確認する。

エグゼキューターはプランを実行する。各ステップは型付きの出力を次のステップに渡し、独立したステップは並列実行される。LLM呼び出しは一部のステップのみで使われ、各呼び出しは単一タスクに限定される(行タイトルの生成、次テーマの提案など)。

プランは2つのソースから供給される。事前にテスト済みの「確立されたプラン」と、LLMがその場でドラフトする「動的プラン」だ。どちらのプランも同じ検証を通過しなければ実行されず、動的プランが遅延したり検証に失敗した場合は即座にテスト済みプランへフォールバックする。


設計上の主要な判断4点

記事では、設計を方向付けた複数の課題と対応する意思決定が詳述されている。特に設計の核心となる判断を以下に整理する。

非同期サービングはTV特有の制約への回答だ。LLM推論を含むリクエストをブロッキングで処理すると、スレッドが長時間占有される。そのためリモコンのボタン押下は即座にACKを返し、TV側は「準備中」状態に遷移する。エグゼキューターがバックグラウンドでプランを実行し、完了するとサーバーがTVに通知、TVがページを取得する設計になっている。

安全ルールのコード実装も重要な判断だ。コンテンツのマチュリティ基準、各ステップのアクセス権限、ユーザーの非表示設定といったルールをプロンプトに書くと確率的になる。そのためこれらはすべてコードで強制される。プランナーはパラメータ値を直接書かずプレースホルダーを使い、検証後にコントローラーが型付きの値を注入する。これはプロンプトインジェクション対策も兼ねる。LLMの出力を「信頼できない入力」として扱い、コードによるガバナンスで囲むという発想は、OWASP LLM Top 10が指摘するインジェクションリスクへの実践的な対応とも一致する。

モデル・ケイパビリティの抽象化により、すべてのLLMは共通インターフェース経由で呼び出される。タスクごとにモデルを割り当て、ライブで上書き可能な設定として管理する。システムの挙動の多くがサーバーサイドのプロンプトと設定に集約されているため、TVアプリのリリースなしにモデルやランカーを切り替えられる。

Memory Hubはメンバーごとの永続的な低レイテンシメモリストアで、テイスト要約(好きなジャンル・トーン・テーマを短くまとめたもの)や、ユーザーが明示的に指定したフィードバックを保存する。テイスト要約は自社開発の「MemberLLM」がビューイング履歴から事前生成しておくことで、リクエストパスからLLM処理を排除している。


「大規模での失敗」を前提にした設計

記事が一貫して強調するのは、スケールにおける稀な失敗は毎日多数発生するという現実だ。遅いLLM呼び出し、カタログにないタイトルの提示、ブランドに合わない文言——これらがリビングのTVに表示される。各リクエストは構造化されたレコード(プラン、各ステップの結果、適用されたルール)を記録し、オフライン評価とリプレイに活用される。

LLM呼び出しを「信頼できない入力」として扱い、コードによるガバナンスで囲むという設計思想は、AIを本番プロダクトに組み込む際の実践的な知見として参考になる。


詳細はEngineering AI Discoverを参照していただきたい。