9月3日、Craig Haleが「Research finds AI agents haven't quite mastered real-world browsing tasks despite claiming they can」と題した記事を公開した。この記事では、45のAIエージェントを対象にした実世界ブラウジングタスクの評価研究で、満点を達成したエージェントが1つもなかったという調査結果について詳しく紹介されている。
45エージェント、満点ゼロ——ベンダーの主張と現実の乖離
プロキシ・Webスクレイピングサービスを手がけるDecodoが実施した調査によると、45のAIエージェントを10の能力カテゴリで評価したところ、最高スコア20点満点を達成したエージェントは1つも存在しなかった。
最も高得点だったのはClaude for Chrome（AnthropicのClaudeをブラウザ操作に特化させたChrome拡張機能版）で18点。一方、OpenAIのChatGPT Chrome Extensionは14点にとどまった。なお、「Claude for Chrome」はClaude本体とは異なりChrome拡張として実装されたエージェントであり、混同しないよう注意が必要だ。
調査が突きつけた最大の問題は、スコアの絶対値よりも「ベンダーや開発者が主張する能力と、実際に提供できるものとの間の乖離」だ。AIエージェントは自律的なブラウジングを「できる」と謳っていても、実際のタスクでは随所でつまずく。
ただし、この調査結果を読む際には一点留意が必要だ。Decodoは自社でプロキシ・スクレイピングサービスを提供しており、AIエージェントのブラウジング能力が低いと評価されることが自社サービスの優位性訴求につながる立場にある。調査の設計・評価基準の詳細は元記事から確認できるが、結果を批判的に受け取る視点は持っておきたい。
最も苦手なのは「購入完了」——チェックアウトの壁
カテゴリ別の平均スコアで最低だったのがトランザクション処理で、平均0.43点/2点満点。エージェントの多くはカートへの追加やチェックアウト画面への遷移まではこなせるが、実際の購入を完了することができない。
さらに懸念されるのはセキュリティ面だ。仮に技術的に購入を実行できるエージェントであっても、クレジットカード番号などの機密情報を適切に保護するセーフガード（安全対策機構）が整備されていないケースがある、と調査は警告している。
セーフガードの欠如は購入処理に限った話ではない。複数ステップにわたるワークフローを実行できるエージェントのうち、半数以上が「取り消し不能な操作を行う前の確認・保護機能」を一切ドキュメント化していないという。一度実行したら元に戻せない操作を、確認なしに実行してしまう可能性があることを意味する。
ブラウザネイティブ型が「クロスタブ認識」で満点
すべての項目が低調だったわけではない。ブラウザネイティブ型のエージェント（ブラウザ拡張機能として実装されるタイプ）は、クロスタブ認識——複数タブにまたがって状態を把握・操作する能力——で満点を記録した。アーキテクチャの違いが特定能力の優劣に直結している点は、エージェント選定において参考になる。
また、フォーム入力のカテゴリでは全体的に比較的高いスコアが見られた一方、サードパーティ統合——外部サービスやAPIとの連携を伴うタスク——では多くのエージェントがスコアを落とす傾向にあったという。実世界の業務自動化では外部サービスとの連携が不可欠なケースも多く、この点は現状の実用限界を示す重要な指標といえる。
DecodoのプロダクトマーケティングチームリードであるGabriele Vitkeは次のように述べている。
「機能リストの長さではなく、用途に合ったツールを選べ」
つまり、エージェントを選ぶ際は「何でもできる」というマーケティングに乗るのではなく、自分のユースケースに合った能力に特化したエージェントを選ぶべきだという主張だ。
評価されたタスクの内訳
調査が対象とした10カテゴリの能力には、フォーム入力、トランザクション処理、クロスタブ認識、サードパーティ統合、マルチステップワークフローなどが含まれる。いずれも「実世界のブラウジング自動化」として需要が高い領域だ。
現時点での実用上の示唆
現状のAIエージェントをブラウジング自動化に採用する際、この調査から読み取れる実用上の示唆は明確だ。
- 購入・決済処理の完全自動化はまだ信頼できない
- 取り消し不能な操作を含むワークフローには、セーフガードの有無を事前確認すること
- クロスタブ操作が必要な用途にはブラウザネイティブ型が有利
- ベンダーの機能説明をそのまま鵜呑みにせず、実際のユースケースで検証すること
総じて言えば、現時点のAIエージェントは特定の得意領域では高い能力を発揮するものの、汎用的なブラウジング自動化エージェントとして実業務に全面的に投入できる水準には達していない。特にトランザクション処理やサードパーティ統合といった「実業務の核心」に近い領域ほどスコアが低い傾向は、導入を検討する際の現実的な判断材料となるだろう。AIエージェントによるブラウジング自動化は急速に注目を集めているが、本調査は「できると言っているエージェントが、実際にはできていない」という現実を数値で示した。
詳細はResearch finds AI agents haven't quite mastered real-world browsing tasks despite claiming they canを参照していただきたい。
