Netflixが「LLMに丸投げ」問題を解決するエージェントワークフローをOSS公開 — 単純回帰に頼らず因果推論を専門家レベルで自動化

8月18日、InfoQがAnthony Alford執筆の「Netflix Open-Sources Agentic Workflow for Causal Inference」と題した記事を公開した。Netflixが因果推論（Observational Causal Inference）向けのエージェントワークフローoci-agentをオープンソースとして公開したこと、およびその設計思想と評価手法について詳しく紹介されている。

oci-agentとは何か

oci-agentは、Netflixが開発した観察データからの因果推論（Observational Causal Inference）を自動化するエージェントワークフローだ。A/Bテストが実施できない状況でも、観察データから因果効果を専門家レベルで推定することを目指している。

分析の枠組みとして採用されているのが、ターゲット試験エミュレーション（target trial emulation）だ。これは「この観察データを使えば、どのようなA/Bテストを再現できるか」を定式化するアプローチで、観察データから因果効果を推定する際の標準的な手法として近年注目を集めている。この枠組みを前提に、oci-agentはLLMエージェントが「正しい手順を踏む」よう設計されている。

「LLMに丸投げ」すると何が起きるか

因果推論は専門性の高い分析手法であり、素直にLLMに投げると単純な線形回帰を返してきてしまう──そのような問題意識が、今回の取り組みの出発点だ。

記事内のケーススタディでは、新エンターテインメントカテゴリ（ゲームなど）が2ヶ月後の継続率に与える影響を推定するタスクで比較検証が行われた。Claudeモデルに分析プランを直接与えたベースラインは、単純な線形回帰で効果量を推定。一方、oci-agentワークフローを用いた場合の推定値は、**ベースラインのわずか25%**にとどまった。

単純なLLM利用との差がどこで生まれたかが、このワークフローの核心である。

アクター・クリティックによる反復改善ループ

oci-agentの設計の要は、アクター（Actor）とクリティック（Critic）の2エージェント構成にある。

• アクターエージェント：人間が作成した分析プランとJupyter Notebookのテンプレートを受け取り、仕様（spec）を生成してパラメータを埋め、Notebookを実行する。
• クリティックエージェント：実行結果を評価し、not_satisfactory / satisfactory_with_caveats / fully_satisfactory の3段階で判定。問題があれば仕様の修正案を返す。

OCI Agent Workflow - 画像出典: Netflix Blog

ケーススタディでは、クリティックエージェントがアーリーアダプターバイアスの可能性やプラセボテストの失敗を指摘した。ワークフローはこうしたシナリオへの対処プレイブックを備えており、パラメータを変えた複数分析の実行を自動化する。このように、2エージェントの反復ループが「素のLLM」では見落とされる専門的な問題を検出・修正する役割を担っている。

「正解のない評価」をどう解決するか

因果推論における最大の難点は、グラウンドトゥルース（正解データ）が存在しないことだ。A/Bテストと異なり、観察データからの因果推論では「正しい答え」を直接確認できない。

Netflixはこの問題に対し、プロセス監査（process audit）と人間による監視の組み合わせで対処している。エージェントは分析プラン・仕様・プロット・Notebookをすべて出力として残し、人間が再現・検証できる状態にする。クリティックによる品質評価も「答えの正否」ではなく「プロセスの妥当性」を問う設計であり、これがターゲット試験エミュレーションという枠組みと整合している。

ベンチマークとしては、Atlantic Causal Inference Conference（ACIC）の競技データセットを用いた評価で「competitive（競争力あり）」という結果を得ている。

設計思想への外部の反応

プロダクトマネージャーのFabio PiazzaはLinkedInに投稿し、以下のように述べた。

Netflixは静かに応用AIの水準を上げ続けている。エージェントの出力だけを検証するのではなく、すべてのステップを透明にしている。フロンティアはより良いモデルだけでなく、その周りのより良いワークフローにある。

Indeed.comでソフトウェアエンジニアリングディレクターを務めるTaikai TakedaもXに投稿し、以下のように述べた。

因果推論についてあまり詳しくなければ、LLMに雑に投げてそれなりの回帰分析が返ってきて満足してしまう……OCIは答えを吐き出させるのではなく、専門家が後で検証できるアーティファクトを残しながら正しいステップを踏ませる設計になっている。AIエージェントは専門タスクの参入障壁を下げるのが本当に得意だ。

両者の指摘はいずれも、oci-agentの価値が「精度の高い答え」よりも「検証可能なプロセス」にある点に集中している。これはグラウンドトゥルースが存在しない因果推論という領域の性質を正確に捉えた評価といえる。

オープンソースとして公開

oci-agentのソースコードはGitHub（Netflix-Skunkworks/oci-agent）で公開されている。記事内では「軽量なスタンドアロン版」と説明されており、グラウンドトゥルースなし環境でのエージェント評価研究を促進する狙いがあるとしている。

詳細はNetflix Open-Sources Agentic Workflow for Causal Inferenceを参照していただきたい。