powered by TechFeed
表示モード
Deep Dive

製品改善サイクルを1ヶ月から1〜2日に短縮 — AmplitudeのAIエージェントが「地味な放置課題」を自動発見・実装・測定まで担う

11月13日、OpenAIが「How Amplitude ships product improvements in 1–2 days with OpenAI」と題した記事を公開した。この記事では、プロダクト分析ツールのAmplitudeが独自のAIエージェント「Wave」を使い、製品改善のサイクルを約1ヶ月から1〜2日に短縮した事例について詳しく紹介されている。

11月13日、OpenAIが「How Amplitude ships product improvements in 1–2 days with OpenAI」と題した記事を公開した。この記事では、プロダクト分析ツールのAmplitudeが独自のAIエージェント「Wave」を使い、製品改善のサイクルを約1ヶ月から1〜2日に短縮した事例について詳しく紹介されている。


「気づかれていた課題」を自動で見つけて実装まで持っていく

Amplitudeは、プロダクトの利用状況を計測・分析するツールとして広く知られている。同社が開発したプロダクトエージェントWaveは、その分析データをもとに「改善の機会を発見し、実装計画を立て、コーディングエージェントに渡して、効果まで測定する」という一連のサイクルを担う。

Waveのアーキテクチャはおよそ80%がOpenAIのモデルで構成されており、タスクに応じて以下の3モデルを使い分けている。なお、以下のモデル名はいずれも元記事に記載された名称であり、本記事執筆時点(2026年11月)で一般公表されている正式名称と異なる場合がある点に留意されたい:

  • GPT‑6.1 Sol:コードやデータへの深い調査・推論が必要なタスク
  • GPT‑6 Luna:コードスキャンや小規模な評価チェックなど、高頻度・低コストなタスク
  • GPT‑Image‑2.5 Flare:セッションリプレイのスクリーンショットを参照したワイヤーフレーム・モックアップの生成

Waveのアーキテクチャを大まかに整理すると、①Amplitudeの分析基盤から行動データ・ファネル情報を取得し、②セッションリプレイの映像をフレーム単位で画像解析してUIの問題点を可視化し、③検出した機会を技術計画と受け入れ条件(acceptance criteria)に変換して、④Codexなどのコーディングエージェントへ直接タスクを送る、という流れになっている。セッションリプレイの取得にはAmplitude自身のセッションリプレイ機能が使われており、その映像をGPT‑Image‑2.5 Flareが解析してワイヤーフレームを自動生成する点が技術的な特徴の一つだ。

AIエージェントが分析データをもとに改善機会を探るアプローチは、近年複数のSaaS企業が追求しているテーマでもある。たとえばMixpanelやHeapといった競合プロダクト分析ツールも自動インサイト機能を強化しており、AmplitudeのWaveはその中でも「発見から実装・測定まで一気通貫」を最も前面に押し出した事例といえる。


自社ホームページで実証:カード経由の送信が160%増

記事の中で最も具体的な事例として紹介されているのが、Amplitude自身のホームページへのWave適用だ。

ホームページには、AIエージェントとの会話を促す「サジェストカード」が設置されていた。しかしWaveがセッションリプレイ100件を分析したところ、80人のユーザーが自分でテキストを入力し、サジェストカードを選んだのはわずか12人だった。

Waveが提案した解決策は「パーソナライズ」だ。ユーザーが直前に閲覧していたチャートやダッシュボード、あるいは遷移元のページをもとに、カードの内容を動的に変える。パーソナライズの文脈が取得できない場合はジェネリックな提案を表示し、自由入力も維持する、という設計も自動で盛り込まれた。

チームが簡単なレビューを行った後、コーディングエージェントに実装を委ね、A/Bテストを実施。結果、ホームページのサジェストカード経由の送信数がコントロール比で160%増加し、それが1日で出た。

「地味で、ずっと放置されていたことが、予想外の形でフィーチャーの採用を高める。これはその典型例だ」
— Eric Carlson, Senior Principal AI Engineer at Amplitude


モデル選定の裏側:コスト対品質をどう評価したか

Amplitudeは用途ごとにOpenAIのモデルを比較評価している。以下の数値はすべて元記事に開示されたものであり、Amplitudeの社内評価基準に基づく数字である点に留意されたい。

Opportunity Investigator(深い調査タスク)の評価では、GPT‑6.1 Solが5点満点中4.06点を獲得し、比較した3モデル(3.62、3.52、2.94点)をリード。調査の中央値所要時間も54分と最速だった。評価軸は「根拠の裏付け」「誤検知の回避」「ツール障害からの回復」など5項目。

Data Science Agentの評価では、GPT‑6.1 Solが100点中67.5点と、別の主要モデルの69.3点にわずかに劣るものの、コストは**$1.28/dispatchに対して競合モデルは$2.63/dispatch**。ツール契約への準拠や根拠の明示で上回る項目もあり、コスト効率を重視してGPT‑6.1 Solを採用している。

画像生成では、GPT‑Image‑2.5 Flareがワイヤーフレーム評価で80.3点(競合モデルは63.9点)を記録した。

エンジニア視点で注目すべきは、単一モデルへの集約ではなく「タスク特性ごとにモデルを使い分ける」設計を採っている点だ。推論コストが高い深掘り調査には高精度モデル、高頻度のスキャン処理には低コストモデル、UI解析には画像特化モデルと役割を分離することで、精度とコストのバランスを最適化している。こうしたマルチモデル構成は、AIエージェントを本番運用する際のアーキテクチャ設計として参考になる。


自動化の度合いはチームが制御する

Waveが提案した改善案をそのまま自動実装するわけではない。チームは自動化の度合いを自分たちで設定できる。バグ修正はコーディングエージェントに直接送るケースが多いが、新機能や影響の大きな変更は人間のレビューを挟む。

ベータ版を使うカスタマーのデータでは、Waveが機会を発見した当日にリリースされたものが全体の4分の1、4日以内が半数、1週間以内が3分の2に達している。


Amplitudeが目指す方向

CEOのSpenser Skatesは「OpenAIとの取り組みの目標は、自己改善するプロダクトをソフトウェア開発の標準にすること」と述べている。OpenAIのモデルが推論・コーディングの能力を向上させるにつれて、エージェントへの委譲範囲は広がっていく見込みだ。

詳細はHow Amplitude ships product improvements in 1–2 days with OpenAIを参照していただきたい。