IA supera UX practitioner em revisão prática de portal

O teste

Kolozsi István, designer de produto, recebeu a tarefa de escrever uma revisão UX expert para as páginas de busca, resultados e detalhe de produto de um portal. Tinha como insumos: brief com perguntas sobre público-alvo, objetivos e USP, documento de pesquisa de mercado, dados do Google Analytics e heatmaps do Clarity. Sua hipótese inicial era a de que a IA já daria conta sozinha desse tipo de trabalho.

Ele testou dois modelos em paralelo - Claude Fable 5 e ChatGPT-5.6 Sol - fornecendo a cada um todo o material disponível. Não usou um prompt único: dividiu a tarefa em etapas estruturadas e pediu que os modelos fundamentassem suas observações nos dados de GA e Clarity. Paralelamente, fez a análise manualmente para ter base de comparação.

Resultados

Ambos os modelos produziram análises, mas cheias de problemas irrelevantes e até inexistentes. Havia observações úteis, porém aproveitáveis apenas no nível de redação e estrutura. Claude foi notavelmente mais preciso que ChatGPT em formulação e estrutura, e conseguiu entregar o resultado em um único documento (ChatGPT só parcialmente). O autor admite que a IA identificou problemas que ele mesmo não havia percebido, mas também deixou passar outros que ele encontrou.

O resultado se alinha com um estudo de 2025 que testou GPT-4o contra heurísticas de usabilidade de Nielsen: o modelo encontrou cerca de 21% dos problemas identificados por especialistas, ao mesmo tempo em que levantou vários problemas falsos. Conclusão: excelente como primeira passada, mas não substitui a avaliação expert.

Como o material final foi construído

O autor montou a análise final com Claude, alimentando-o com suas próprias observações e refinando em conversa contínua. A IA revisou gramática, consistência e sugeriu mudanças - parte que ele considerou extremamente útil. Estimou que, sem IA, o trabalho teria levado cerca de 15% mais tempo.

Próximos passos e visão de longo prazo

O autor planeja construir um "agent skill" próprio que codifique heurísticas de usabilidade, ponderação de severidade e o olhar expert de um practitioner - não para a IA decidir por ele, mas para tornar seu julgamento reutilizável e consistente. Cita o caso da Baymard, que alcançou 95% de precisão em avaliações heurísticas com IA não por prompting melhor, mas por fundamentar o modelo em sua própria base de conhecimento pesquisada.

Sobre o futuro, reconhece que a IA eventualmente substituirá o trabalho de design, mas aponta sinais de desaceleração no ganho por escala (citando Ilya Sutskever e Reuters, 2024). A ênfase estaria migrando de tamanho para métodos mais inteligentes.

Recomendações práticas

• Comece: use IA como parceira de primeira passada, alimente com dados reais, trabalhe em etapas e codifique suas heurísticas em prompts ou skills reutilizáveis.
• Pare: de entregar o output da IA como está, de esperar que um prompt substitua um workflow e de delegar seu julgamento. Severidade, priorização e contexto de negócio continuam com o humano.
• Designers que aprenderem a dirigir a IA vão superar os que não aprenderem.