6月28日、The Decoderが「Only three AI models finished above starting capital in a 500-day startup survival test」と題した記事を公開した。この記事では、500日間のスタートアップ経営シミュレーションで14のAIモデルを評価した新ベンチマーク「CEO-Bench」の結果について詳しく紹介されている。14モデル中、初期資金を上回って生き残れたのはわずか3モデル——しかもLLMを一切使わない単純な固定ルールが残り11モデルすべてを上回るという、AIエージェントの現在地を問い直す結果が出た。
500日のスタートアップ経営で、ほぼ全AIが破綻した
AIエージェントは個別タスクをこなすのが得意になってきた。だが「組織全体を長期目標に向けて舵取りする」能力はどうか。プリンストン大学の研究者らが開発したベンチマーク「CEO-Bench」は、その問いに正面から向き合う。
テストの設定はシンプルだ。AIエージェントがサブスクリプションSaaS企業「NovaMind」のCEOを務め、初期資金100万ドル・顧客ゼロの状態から500日間の経営をシミュレーションする。残高が一度でもゼロを下回れば即破綻、シミュレーション終了だ。なお「NovaMind」はベンチマーク上の模擬企業であり、実在の企業ではない。
エージェントは34のツールと19テーブルのデータベースにアクセスできるPython APIを通じて経営判断を下す。SQLでデータベースを照会し、コードを書いてワークフローを自動化する。価格設定、広告費の配分、R&D投資、エンタープライズ顧客との複数ラウンドの交渉、さらには競合情報が流れる模擬SNSへの投稿まで、意思決定の範囲は広い。
難しさの核心は「遅延フィードバック」と「隠れた変数」
このベンチマークが単なるタスク処理と一線を画す理由は、時間と不確実性にある。
- 収益は請求日にしか入らない
- R&Dプロジェクトは数日〜数週間かかる
- ミスの影響（チャーン増加、評判低下）は数週間後に顕在化する
- コストは即時に発生する
一方、顧客満足度・支払い意欲・品質期待値といった重要指標は直接参照できない。エージェントはキャンセル数、サポートチケット、SNSの反応といったノイズ混じりのシグナルから状況を推測しなければならない。顧客は26セグメント・個別の予算と価格感度を持つ個々の顧客としてモデル化されており、競合他社も定期的に品質期待値を引き上げる。
研究者らはあえて判定役にLLMを使わず、固定ルールベースのシミュレーターを採用した。比較対象のVending-Benchでは、AIシミュレーターが非現実的な口約束に報酬を与えてしまう問題があったためだ。
結果：利益を出せたのは14モデル中3つだけ
14モデル中、500日終了時点で初期資金100万ドルを上回って生き残ったのは3モデルのみだった。
| モデル | 最終残高 |
|---|---|
| Claude Fable 5 | 4,715万ドル |
| Claude Opus 4.8 | 2,780万ドル |
| GPT-5.5 | 2,130万ドル |
Claude Fable 5が複数回の実行でプラスを維持した唯一のモデルだ。ただし1回は途中でモデルが続行を拒否して中断、残り2回ではOpus 4.8へのフォールバックが発生している。GPT-5.5は3回中2回が破綻だった。
さらに示唆的なのがルールベースのヒューリスティックとの比較だ。LLMを一切呼び出さない単純な固定ルール（価格・広告・設備容量を固定ルールで調整するだけ）が最終残高1,576万ドルを達成し、上位3モデル以外の全AIモデルに勝った。つまり、14モデル中10モデルが「LLMを使わない固定ルール」にすら及ばなかったことになる。
なお、研究者らは理論的な上限を約22億ドルと推計しており、最高モデルでも上限の2%程度にとどまる。
成功と失敗を分けた行動パターン
軌跡の分析から、明確な差異が見えた。
GPT-5.5とClaude Opus 4.8は「探索型」だった。状況変化に応じて顧客獲得戦略の変更、料金プランの調整、R&D予算のシフトを積極的に試みた。一方、Claude Opus 4.7は「防衛型」で、苦境になるとコスト削減と現金温存に終始した。生き残りはしたが、利益は出せなかった。
興味深いのは、Opus 4.8とGPT-5.5が全く異なる経路で似た結果に到達した点だ。
- Opus 4.8：序盤に顧客を急拡大したが中盤で顧客ゼロに陥り、その後に回復。内部的に顧客コホートをモデル化して将来キャッシュフローを予測する独自シミュレーションを構築していた。
- GPT-5.5：顧客基盤を安定維持。データベースの交渉履歴を掘り起こして隠れた顧客嗜好を発見するアプローチをとった。
研究者らが成功と相関する4つの能力として測定したのは、(1)隠れた情報の発掘、(2)4週間後のキャッシュ予測精度、(3)競合の動きへの反応速度、(4)「もし〜なら」という条件分岐の計画頻度だ。Opus 4.8とGPT-5.5は4項目すべてで他モデルの平均を上回った。
ツール環境の影響も無視できない
副次的な発見として、コーディングアシスタントとの組み合わせが逆効果になった点がある。Claude Opus 4.7をClaude Codeと組み合わせ、GPT-5.5をCodexと組み合わせてテストしたところ、両ケースでアクション頻度が大幅に低下し、成績も悪化した。研究者らは、これらのツールのシステムプロンプトがソフトウェア開発向けに最適化されているためではないかと見ている。
時間軸を500日から50日に短縮した場合も、利益を出せたのはGPT-5.5のみで、問題は解消されなかった。
CEO-Benchは、現在のAIモデルが「個別ツールを使う能力」と「長期にわたって行動を一貫した戦略につなげる能力」の間に大きなギャップを抱えていることを示している。個別タスクのベンチマークで高スコアを出すモデルが、時間と不確実性を伴う経営判断では軒並み破綻する——この結果は、エージェントAIの評価軸を再考するうえで無視できないデータである。
詳細はOnly three AI models finished above starting capital in a 500-day startup survival testを参照していただきたい。
