Visa cria benchmark que avalia IA em compras e revela falhas em 42,8% dos testes

A Visa lançou nos Estados Unidos o Visa Agentic Commerce Benchmark, uma avaliação inédita que submete modelos de inteligência artificial a cenários realistas de compra. O anúncio foi feito em 5 de novembro de 2026, em São Francisco.

A iniciativa coloca à prova a capacidade da IA de identificar as necessidades de um consumidor por meio de conversa e tomar decisões de compra bem fundamentadas. O público também pode participar dos testes. Os resultados da primeira rodada revelam limitações relevantes: os modelos falharam em 42,8% das tentativas.

Leia também: Microsoft vê recuperação gradual do Outlook, mas falha global persiste

Resultados dos modelos testados

A primeira rodada envolveu 22 modelos de inteligência artificial de 12 laboratórios, submetidos a 15 desafios de compra, como a aquisição de televisores, notebooks ou aparelhos de cuidados pessoais. No conjunto, os modelos alcançaram taxa geral de aprovação de 57,2%. Os de melhor desempenho foram aprovados em 82,2% das tentativas; os de pior desempenho, em 28,9%.

A consistência também se mostrou um problema. Cada modelo teve três tentativas por cenário, e a aprovação nas três ocorreu em apenas 34,2% dos casos. Cerca de 54% das tentativas que falharam ainda assim terminaram com uma compra sendo feita pela IA, seja por recomendar um produto fora dos requisitos do cliente, seja por não identificar todas as suas necessidades.

Os dados também apontam relação entre a qualidade das interações e os resultados. Os cinco modelos que mais identificaram fatores de compra não mencionados inicialmente pelos usuários tiveram taxa média de aprovação de 70,2%, ante 44,4% dos cinco que menos exploraram essas informações por meio da conversa. Modelos mais caros também tenderam a performar melhor: os cinco com maior custo médio por execução foram aprovados em 67,1% dos testes, contra 50,2% dos cinco de menor custo.

Confiança do consumidor na IA

O desempenho insatisfatório dos modelos se soma a um cenário de desconfiança dos consumidores. O Índice de Confiança da Visa, divulgado em setembro de 2026, mostrou que 72% dos consumidores americanos já usaram um assistente de IA, mas apenas 23% confiavam na tecnologia para realizar transações de pagamento em seu nome.

O líder global de Crescimento da Visa, Rubail Birwadker, afirma que “os agentes de IA têm potencial para impulsionar a próxima era do comércio, mas a confiança é essencial para que isso se concretize”. Segundo ele, “o Visa Agentic Commerce Benchmark é mais uma iniciativa da Visa para elevar os padrões de todo o setor”.

O benchmark integra o Visa Intelligent Commerce, portfólio de produtos, programas e parcerias da Visa voltado ao comércio com agentes de IA. A empresa compartilhou a avaliação com os principais desenvolvedores de modelos para receber contribuições.

Próximos passos do benchmark

A Visa planeja ampliar o Visa Agentic Commerce Benchmark com novos cenários de compra e categorias de produtos. Os testes também devem se estender para as etapas de finalização da compra, pagamento e realização do pedido.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!