7月31日、startuphub.aiが「AI Agents Stall on Core AI Research」と題した記事を公開した。最先端のAIエージェントがAI研究のエンジニアリング作業は自律的にこなせる一方、研究の本質的な部分では限界を露呈したという評価研究を詳しく紹介している。「AIが研究者を代替できるか」という問いに対し、実証的な答えを提示した内容として注目に値する。
「コードは書けるが、研究はできない」という結論
AIエージェントは研究者を代替できるのか。この問いに対し、一つの実証的な答えが出た。
研究チームが採用したシャドウ評価（shadow evaluation）とは、評価対象となるエージェントを実際の研究プロセスに「並走」させ、人間の研究者と同じ条件下でタスクをこなさせることで能力を測る手法だ。ベンチマークデータセットへの当てはめといった従来型の評価とは異なり、現実の研究環境における実力を直接問うアプローチとして、AI能力評価の研究コミュニティで注目されている手法である。標準化されたベンチマークでは捉えきれない「研究遂行能力」の評価に適しているとされる一方、サンプル数の確保が難しいという制約も伴う。
今回の評価では、未公開のNeurIPS 2026投稿論文2本を対象に、フロンティアエージェント（現時点で最高水準のAIエージェント）に研究タスクを与えた。NeurIPS（Neural Information Processing Systems）は機械学習・AI分野における最難関の国際会議の一つであり、採択率が極めて低いことでも知られる。条件は6日間、数千ドル規模の計算リソースという、決して貧弱ではない環境だ。
結果は明確だった。エージェントはエンジニアリングタスクをすべて人間の介入なしに完了させた。コードを書き、実装し、実行する。その部分は申し分ない。
しかし、コア研究課題への貢献は事実上なかった。論文著者たちはエージェントのアウトプットを明確に却下した。
5つの失敗モード
研究チームが指摘した失敗の類型は以下の5つだ。
- publishableな研究水準の判断力不足 — 「この結果は学術的に価値があるか」を評価できない
- 研究設計の欠陥に対する創造性の欠如 — 問題を発見しても、それを打開する新しいアプローチを出せない
- 行き詰まりからの効果的な方針転換ができない — デッドエンドに気づいても、適切にバックトラックできない
- リソース認識の甘さ — 計算資源の消費と進捗のバランスを適切に管理できない
- インストラクション・ドリフト — 長時間の作業を通じて当初の指示から逸脱していく
さらに研究チームは、異なるモデルとスキャフォールディング（エージェントの動作基盤となる実行フレームワーク）を用いたロバストネスチェックでも同様の失敗を再現させており、結果の信頼性を補強している。特定のモデルや実装依存の問題ではなく、現世代のエージェントアーキテクチャに共通する構造的な限界である可能性を示唆する点で、この再現性は重要だ。
「How」はAI、「What」と「Why」はまだ人間
この研究が突きつけるのは、AIエージェントの能力における構造的な非対称性だ。
自動化できること：
- コーディング・実装・実験の実行（"how"）
自動化できていないこと：
- 新規仮説の立案
- 堅牢な実験設計
- 曖昧な結果の解釈
- 研究上の発見の重要性を批判的に評価すること（"what"と"why"）
記事はこの区分を、AIドリブンなイノベーションの軌跡を考える投資家や起業家にとって「重要な視点」と位置づけている。
エンジニアの視点で言えば、これは「テストを全部通るコードは書けるが、何をテストすべきかは分からない」という状況に近い。実装力と研究力は別物であり、現状のエージェントはその前者に特化している。
類似した問題意識を持つ研究としては、SWE-benchのようなコーディングベンチマークでは高スコアを記録するエージェントが、オープンエンドな問題解決では大きく後退するという傾向がすでに複数の評価で報告されており、今回の結果はその延長線上にある知見として読める。また、AIによる科学的発見の自動化を目指す「AI Scientist」のような取り組みとの対比でも、本研究の位置づけを理解しやすい。
「数千ドル」かけてもダメだったという現実
見落とせないのはコストの話だ。今回の評価では数千ドルの計算コストが費やされている。それだけのリソースを投入してもコア研究では成果が出なかったという事実は、「computeを増やせば解決する」という楽観論に対する一つのカウンターデータになる。
もっとも、本研究はサンプルが未公開論文2本という限定的なものであり、より広範な評価が必要な段階だ。研究チームの所属機関や論文の公開状況（プレプリント等）については元記事に詳細があるため、一次情報へのアクセスは元記事経由で確認していただきたい。ただし、異なるモデルと実行フレームワークで失敗が再現されている点は、個別事例の失敗に留まらない示唆を与えており、今後より大規模なサンプルでの追試が求められる。
詳細はAI Agents Stall on Core AI Researchを参照していただきたい。
