powered by TechFeed
表示モード
Deep Dive

LinkedIn・Netflix・DoorDashが語る「本番AIの壁」— エージェント権限管理、評価の乖離、毎秒100万推論をどう乗り越えたか

11月11日、Artemisa ChatziouがInfoQに「How LinkedIn, Netflix & DoorDash Run Agents, Evals & Inference in Production: QCon AI New York 2026」と題した記事を公開した。この記事では、2026年12月15〜16日にニューヨークで開催されるQCon AI New York 2026のプログラム全容と、LinkedIn・Netflix・DoorDashなど大手テック企業のエンジニアが語る本番AIシステムの知見について詳しく紹介されている。QCon AIとは——InfoQと同一組織が運営するプラクティショナー向けカンファレンスQCon AI New Yorkは、InfoQを運営するC4Media社が主催するカンファレンスシリーズ「QCon」のAI特化版だ。QConはソフトウェアアーキテクトやシニアエンジニアを主な対象とし、ベンダー色を排した実装レベルの知見共有を重視することで知られる。InfoQはそのメディア部門として、登壇者の発表内容を記事・講演録・スライドの形で広く公開し...

11月11日、Artemisa ChatziouがInfoQに「How LinkedIn, Netflix & DoorDash Run Agents, Evals & Inference in Production: QCon AI New York 2026」と題した記事を公開した。この記事では、2026年12月15〜16日にニューヨークで開催されるQCon AI New York 2026のプログラム全容と、LinkedIn・Netflix・DoorDashなど大手テック企業のエンジニアが語る本番AIシステムの知見について詳しく紹介されている。

QCon AIとは——InfoQと同一組織が運営するプラクティショナー向けカンファレンス

QCon AI New Yorkは、InfoQを運営するC4Media社が主催するカンファレンスシリーズ「QCon」のAI特化版だ。QConはソフトウェアアーキテクトやシニアエンジニアを主な対象とし、ベンダー色を排した実装レベルの知見共有を重視することで知られる。InfoQはそのメディア部門として、登壇者の発表内容を記事・講演録・スライドの形で広く公開している。今回の記事もその一環として、カンファレンス開幕に先立ちプログラムの概要を紹介するものだ。

AIブームの「第一波」がPoC(概念実証)中心だったとすれば、QCon AI 2026が照準を合わせるのは「第二波」——本番稼働中のAIシステムが抱えるスケール・信頼性・組織的課題だ。エージェントにどこまで権限を与えるか、オフラインの評価結果が本番でも通用するか、増え続ける推論ワークロードをどう捌くか。各セッションはこの段階の問いに正面から向き合う構成になっている。

エージェントのセキュリティ:既存のID管理は通用しない

1日目の基調講演に立つのは、1PasswordのCTO Nancy Wang(元AWS Data Protectionの創設者)だ。セッションタイトルは「When Software Becomes a User: Identity and Authorization for Agents in Production」。

Wangの主張はシンプルだ。既存のID管理は「クレデンシャルの裏に人間がいる」前提で設計されている。安定したロール、境界のあるセッション、事後に責任を負える人間——エージェントにはそのどれもない。この問題を解決しないまま本番に出すと何が起きるか、が講演のテーマとなる。

同じくAgents in Productionのセクションでは、FigmaとLinkedInの事例が具体的な数字とともに語られる。

  • Figma(Pratik Agarwal):エージェントのトラストバウンダリはサンドボックスの外にも及ぶことを発見。Warm Poolの導入でプロビジョニングのレイテンシを90%削減し、可用性を**99%から99.95%**に改善した。
  • LinkedIn(Ronak Nathani):Kubernetes Ops Agentが50万以上のノード・500万以上のPodをカバー。ガードレールはサーバー側に実装し、レートリミット・削除保護・本番変更へのピアレビュー承認を備える。

Evals(評価):オフラインの改善が本番に繋がらない問題

AIシステムにおけるEvalsとは、LLM(大規模言語モデル)の出力品質やエージェントの挙動を体系的に検証するパイプラインを指す。単なる精度テストではなく、「どのプロンプト変更がどの挙動変化を引き起こすか」をリリース前後で継続的に追跡する仕組みだ。現場で最も頭を悩ませるのは、「オフラインのEvalでは改善が確認できるのに、本番の挙動に反映されない」という乖離問題である。

DoorDash(Fabio Flores)のアジェンティック注文システムでは、すべての変更をリリース前にLLMジャッジでチェックする仕組みを構築した。このジャッジは人間のレビュアーを基準にキャリブレーションされており、シミュレーションと実セッションに同一のルーブリックを適用することで、オフラインでの改善が本番の挙動に確実に反映されるようになっている。

Google DeepMind(Emrick Donadei)のセッションは、より根本的な課題——「一度は通るのに次回の実行で失敗するEval」——から出発し、組織全体が書けて維持できるEvalの設計を論じる。

推論インフラ:1秒間に100万リクエストを1プラットフォームで

Netflix(Fan Yang、Rajat Shah)は、ML・GenAI向けの推論プラットフォームを5年かけて統合し、300以上のモデルに対して毎秒約100万件の推論リクエストを処理できる構成を実現した。セッションでは、マルチテナント運用のコスト構造にも踏み込む。

Pinterest(Salina Wu、Cristian Lopez)はNVIDIA Dynamoを用いたVision-Language Model(VLM)サービングスタックを発表する。プリフィル計算が重く、KVキャッシュへの圧力が大きいマルチモーダルワークロードに特化した設計だ。

AI支援のソフトウェア開発:コードレビューとエージェント内製化

LinkedIn(Min Chen)のAIコードレビューシステムは、約1万リポジトリにまたがる週数万件のプルリクエストを処理している。サンプリングされた提案の60%以上が開発者に受け入れられており、バリデーションパイプラインが開発者の目に触れる前にノイズを除去する。

法律AIスタートアップHarvey(Joey Wang)は、エージェントをまず自社内で使い倒してから顧客に届けるアプローチを取る。内製クラウドエージェントプラットフォーム「Spectre」では、外部の弁護士ユーザーに届く前に全リポジトリで7,000件以上のプルリクエストをマージしている。

エンジニアリング組織への浸透

Honeycombは「2xイニシアチブ」の振り返りをセッションで共有する。2025年初頭から2026年4月にかけて、メインモノレポへのピーク時平日PRマージ数が約30件から約74件へ増加し、その後も維持されている。

OpenAIのBrian Yangは、全エンジニアがコーディングエージェントを持った後に何が起きるかを論じる。誰か一人が見つけたワークフローをチームメンバーが再現できない、という問題だ。

その他のセッション

Anthropic、Microsoft、BlackRock、Databricks、Datadog、LangChain、Basetenなどのエンジニアも登壇する。トピックはエージェントの標準化、サンドボックス密度、SREエージェント、金融サービス向けAgentOps、vLLMによる推論、音声エージェント、ソフトウェアファクトリーなど多岐にわたる。

チケットは2026年12月8日まで1,790ドル。3名以上のグループ登録(〜11月27日)で1枚あたり50〜125ドルの割引がある。12月11日までであれば同僚への無料譲渡も可能だ。

詳細はHow LinkedIn, Netflix & DoorDash Run Agents, Evals & Inference in Production: QCon AI New York 2026を参照していただきたい。