DoorDashがAIエージェントの「事前計算」で再注文を16秒から2秒に短縮 — 推論範囲の切り分けで注文率34%増

10月30日、Leela Kumiliが「DoorDash Cuts Grocery Reorder Latency from 16 to 2 Seconds with AI Agents」と題した記事を公開した。この記事では、DoorDashがバッチLLM推論を活用することでグロサリー再注文フローのレイテンシを16秒から2秒に削減した実装手法について詳しく紹介されている。

「事前計算」という発想の転換

通常、AIエージェントを使った処理はリクエストのたびにLLMを呼び出す。DoorDashが採った方法はその逆だ。ユーザーが購入履歴に基づく商品リストをリクエストする前に、バッチLLM推論で再注文候補を事前計算しておくという設計である。

具体的には、過去90日分の購入履歴とユーザープロファイルのシグナルをオフラインで処理し、LLMが「定期的に購入される可能性が高い商品」を抽出。さらに決定論的なバリデーション（ルールベースの検証）を通過したデータのみを保存する。

リクエストが来た際の処理（サービングパス）は、この事前計算済みデータを取得し、現在の商品カタログと照合するだけで済む。照合の優先順位は以下の3段階だ：

元の店舗の商品IDで一致を試みる
カタログ共通の商品識別子で照合する
それでも見つからなければ検索キーワードで代替する

この仕組みにより、商品の取り扱い変更や在庫切れにも対応しつつ、履歴の推論処理を毎回やり直すコストを排除している。

結果：ショッピングリスト閲覧数が2倍、注文率34%増

この設計変更の効果は数字に明確に出ている。

レイテンシ：16秒 → 2秒
ショッピングリストの閲覧数：2倍
フローの注文率：約34%増

DoorDashのエンジニアTwisha Jainは、設計の意図についてLinkedInへの投稿で次のように述べている：

Better agentic systems aren't always about more reasoning; they're about deciding what belongs in the agent loop and what can happen ahead of time.
（優れたエージェントシステムは、より多くの推論を行うことが目的ではない。エージェントループで行うべきことと、事前に処理できることを切り分けることが重要だ。）

エージェントにすべての判断を委ねるのではなく、LLMが必要な処理と事前に完結できる処理を明確に分離するという考え方が、レイテンシ改善の核心にある。

エージェントを呼ぶ判断基準

事前計算で対応できるのは「定期購入候補の提示」までだ。より複雑な判断、たとえば現在の価格・プロモーション・パッケージサイズ・在庫・ユーザー嗜好を考慮した安価な代替品の提案などは、引き続きGroceryエージェントにLLM推論を行わせる。

一方、数量変更や商品の削除という単純な操作は、LLMを呼び出さずにショッピングリストを直接更新する。

また、ショッピングリストは「会話の文脈」ではなく「構造化されたアーティファクト（成果物）」として扱われる。ユーザーが直接リストを編集した場合、その編集内容が次のエージェントターンの起点となり、以前の発話内容は参照されない。これについてDoorDashのエンジニアリングブログには以下のように記されている：

A consumer's direct edit is authoritative: the next agent turn starts from the edited list, not from what was said earlier.

共有エージェントプラットフォームによる再利用性

この実装は、DoorDashが構築した共有エージェントプラットフォームの上に乗っている。このプラットフォームはオーケストレーション、メモリ、モデルアクセス、トレーシング、評価インフラ、ロールアウト制御などを共通機能として提供するものだ。各ドメインチームはエージェントの指示内容、スキル、ツール、評価基準の所有権を維持しつつ、インフラ部分は共通基盤に任せるという役割分担になっている。

この分離により、新しいエージェントの追加コストが大幅に下がる。エンジニアリングブログによれば、Reservationsエージェントの追加はわずか1週間で完了したとされており、これは初期のドメインエージェント構築と比較して約10倍速い。共有プラットフォームの存在が、個別ドメインへの展開スピードを規定しているといえる。

Ask DoorDash 共有エージェントプラットフォームのアーキテクチャ（出典：DoorDash Blogより）

なお、競合のInstacartもAIショッピングアシスタントを展開しており、14年分の購買データやユーザーの好み・地域の商品情報を活用してミールプランニングやリスト作成を支援している。Instacartのアプローチがアシスタントとしての対話体験全般を対象とするのに対し、DoorDashの今回の実装は再注文フローのレイテンシ削減という具体的な課題に特化した点が異なる。エージェント設計の思想そのものよりも、「どこにLLM推論を使い、どこを事前処理に置き換えるか」というトレードオフの判断が、実用上の成果を左右したケースといえる。

詳細はDoorDash Cuts Grocery Reorder Latency from 16 to 2 Seconds with AI Agentsを参照していただきたい。