 |
| imagem gerada por IA |
O Visa Agentic Commerce Benchmark testou 22 modelos de IA em desafios de compra nos EUA. Os modelos foram reprovados em 42,8% das tentativas, e o público também pode participar dos testes.
A Visa lançou nos Estados Unidos o Visa Agentic Commerce Benchmark. A avaliação de referência para o setor coloca os principais modelos de IA em desafios realistas de compra.
Comprar é uma tarefa complexa para a IA porque os consumidores muitas vezes não sabem exatamente o que querem no início. Uma pessoa pode saber que quer uma TV, mas desconhecer as especificações necessárias. Na avaliação, o modelo precisa descobrir as necessidades do cliente por meio de uma conversa. Se nenhum produto atender aos requisitos, a IA deve optar por não comprar. Para evitar acertos por acaso, ela precisa reunir informações suficientes para justificar a decisão.
A primeira rodada nos EUA envolveu 22 modelos de 12 laboratórios, que enfrentaram 15 desafios de compra, entre eles uma TV, um notebook e um aparelho de cuidados pessoais.
Aprovação geral: os modelos tiveram taxa de 57,2%, ou seja, falharam em 42,8% dos testes. O melhor foi aprovado em 82,2% das tentativas, e o pior, em 28,9%.
Mais informação, melhor resultado: os cinco modelos que mais identificaram fatores de compra não explicitados tiveram aprovação média de 70,2%. Entre os cinco que menos identificaram, a taxa foi de 44,4%.
Custo: os cinco modelos com maior custo médio por execução foram aprovados em 67,1% dos testes, contra 50,2% dos cinco mais baratos. Custo maior, portanto, não garante sucesso.
Consistência: cada modelo teve três tentativas por cenário. A aprovação nas três ocorreu em apenas 34,2% dos casos.
Compras indevidas: em 54% das tentativas reprovadas, a IA ainda realizou uma compra. Ela recomendou um item fora dos requisitos do cliente ou não identificou todas as necessidades.
Em um dos cenários, o cliente pede ajuda para escolher uma TV. Ele diz que um familiar recomendou uma marca e que participa de um programa de associados de um fornecedor externo, mas não dá outros detalhes. Pela conversa, a IA precisa identificar o orçamento e requisitos como compatibilidade de formatos, suporte a HDR10+® para vídeos de família e recursos para jogos.
Os modelos que melhor identificaram as necessidades tenderam a ter aprovação maior. Mesmo assim, ao repetir um cenário em que já tinham passado, esses modelos frequentemente falharam. Isso mostra a dificuldade de oferecer uma experiência consistente.
"Os agentes de IA têm potencial para impulsionar a próxima era do comércio, mas a confiança é essencial para que isso se concretize", afirma Rubail Birwadker, líder global de Crescimento da Visa. Segundo ele, o benchmark é mais uma iniciativa para elevar os padrões do setor.
O Visa Trust Index, divulgado em setembro de 2026, ajuda a dimensionar o problema. Segundo a pesquisa, 72% dos consumidores americanos já usaram um assistente de IA, mas só 23% confiam na tecnologia para fazer pagamentos em seu nome. A pesquisa foi feita pela Harris Poll, em maio de 2026, com 2.065 consumidores dos EUA. Nela, 61% disseram confiar na Visa para operar transações conduzidas por agentes de IA.
Comentários
Postar um comentário