UX de chatbots generativos pode ser medido com métricas comportamentais e atitudinais
Como medir a UX de chatbots generativos
Jeff Sauro e Jim Lewis, da MeasuringU, propõem um framework para avaliar a experiência do usuário em chatbots de IA generativa como ChatGPT, Claude, Gemini e Grok. O ponto de partida é o mesmo usado para qualquer produto digital: combinar métricas comportamentais (taxas de conclusão, erros, tempo em tarefa) com métricas atitudinais (percepções e sentimentos dos usuários).
Para medidas atitudinais de alto nível, o UX-Lite® já permite comparar utilidade e usabilidade entre produtos. Porém, para diagnóstico mais profundo, os autores desenvolveram um conjunto inicial de 34 itens distribuídos em seis construtos específicos:
Os seis construtos propostos
Produtividade com IA - percepção de ganho de eficiência e valor (8 itens). Pesquisas citadas mostram que 90% dos respondentes de um estudo Microsoft/LinkedIn (2024) disseram economizar tempo com IA, e 86% de uma pesquisa da Anthropic (2026) relataram melhora na velocidade do trabalho.
Confiança na IA - confiabilidade percebida das respostas e segurança dos dados (7 itens). Uma pesquisa Melbourne-KPMG com 48.000 pessoas em 47 países encontrou que menos da metade dos usuários regulares de IA confia nela.
Dependência de IA - aceitação acrítica das saídas (3 itens). Na mesma pesquisa, 66% dos respondentes relataram usar resultados de IA sem avaliar a precisão, e 56% cometeram erros por aceitação sem verificação.
Ansiedade em relação à IA - preocupações com impactos sociais, ambientais e éticos (7 itens). Uma pesquisa AP-NORC da Universidade de Chicago (2025) mostrou que 44% acreditam que a IA fará mais mal do que bem à sociedade.
Personificação da IA - grau em que usuários sentem conexão pessoal ou amizade com o chatbot (6 itens).
Adoção precoce - tendência a experimentar novas tecnologias antes da maioria (3 itens).
Próximos passos
Os autores enfatizam que esses itens são apenas o primeiro passo. A validação psicométrica - verificar se os itens se agrupam em fatores estatísticos, avaliar a qualidade de cada item e explorar conexões com construtos de nível superior (atitude em relação à marca, intenção de uso contínuo e recomendação) - será relatada em artigos futuros.