11月6日、PYMNTSが「Visa Finds AI Models Fail 43% of Shopping Test Runs」と題した記事を公開した。AIエージェントに自律的に買い物をさせると、失敗した購買の54%が「間違った商品の購入」だったという。Visaが22種のAIモデルを実際のショッピングシナリオでテストした結果だ。単に「タスクを完了できなかった」ではなく、「誤った判断で購入を実行してしまった」ケースが失敗の過半数を占めるという事実は、AIエージェントの実用化を検討する上で重く受け止めるべき数字である。
AIエージェントのショッピング性能、43%が失敗
Visaは2026年11月5日、12のAIラボが開発した22種のAIモデルを現実的なショッピングシナリオで評価した結果を公表した。テスト全体の通過率は57.2%にとどまり、42.8%が失敗という結果だった。
注目すべきはその失敗の内訳だ。失敗したテスト実行のうち54%では、AIが要件を満たさない商品を購入してしまった、あるいは顧客の要件を十分に把握しないまま購入に至った。つまり「失敗した」だけでなく、「間違った判断で購入を実行した」ケースが過半数を占めている。自律的に購買判断を行うAIエージェントが実用化される文脈では、見過ごせない数字だ。
ここでいう「AIエージェント」とは、ユーザーから与えられた目標や条件をもとに、外部サービスへのアクセスや意思決定を自律的に繰り返し実行するAIシステムを指す。単なるチャットボットとは異なり、ユーザーが明示的に操作しなくても一連のタスクを完結させる点が特徴だ。
ベンチマークの概要：Visa Agentic Commerce Benchmark
今回の調査はVisaが新たに策定した業界ベンチマーク「Visa Agentic Commerce Benchmark」の第一弾として実施された。Visa自身はAIエージェントによる取引に対応した決済インフラの整備を進めており、このベンチマークはその信頼性確保の取り組みの一環として位置付けられている。
ベンチマークは以下の3点をAIモデルに求める。
- 会話から消費者のニーズを特定できるか
- 購買判断を正当化するだけの情報を引き出せるか
- 要件を満たす商品がない場合に、購入を見送る判断ができるか
第一回のテストでは、テレビ・ノートPC・パーソナルケア家電の購入という具体的なシナリオが使用された。「買わない」という判断を正しく下せるかどうかを評価対象に含めている点が、このベンチマークの特徴の一つといえる。
モデル間の格差と「コスト vs 性能」
モデル間の性能差も顕著だ。
- 最高性能グループ（上位モデル）：通過率 82.2%
- 最低性能グループ（下位モデル）：通過率 28.9%
コストとの相関も確認されている。**実行コストが最も高い5モデルの通過率は67.1%、最も安価な5モデルは50.2%**と、価格と性能にある程度の相関が見られた。ただし、高コスト＝高性能というわけでもなく、コスト効率の観点では各モデルの評価が分かれる。
「信頼が鍵」とVisaは強調
Visaのグローバル成長部門責任者であるRubail Birwadker氏は次のようにコメントしている。
「AIエージェントは次世代コマースを牽引する可能性を持つが、信頼が実現の鍵となる。Visa Agentic Commerce Benchmarkは、業界全体の標準を高めるためのVisaの取り組みの一つだ。」
AIエージェントによる自律的なショッピング、いわゆる「アジェンティック・コマース」は、ユーザーが意図を伝えるだけでAIが商品を選定・購入まで実行する仕組みだ。便利さの裏返しとして、誤った購買を防ぐ信頼性の担保が業界の共通課題となっている。
PYMNTSの別レポート「Will the 2026 Shopping Season Go Agentic?」によれば、AIの支援を受けて商品を購入した米国の成人はすでに約1億3200万人に上る。一方で、AIは商品発見フェーズには浸透しているものの、最終的な購買の決定権は依然として消費者が握っているという。今回のVisaのベンチマークは、その「決定権」をAIへ段階的に委譲していくための信頼基盤を整備する試みとして読み取れる。
今回のVisaの取り組みは、業界標準を整備し、AIエージェントへの信頼を段階的に積み上げていくための基盤として位置付けられている。AIが誤って購入を実行してしまうリスクを定量化し、モデル間の比較を可能にするベンチマークが公開されたことで、開発者・導入企業双方にとって選定・評価の指標が一つ増えたことになる。
詳細はVisa Finds AI Models Fail 43% of Shopping Test Runsを参照していただきたい。
