Microsoft defende usuários reais nas avaliações de IA

O problema da avaliação de saídas de IA

A geração de resumos, documentos e recomendações por IA ficou rápida e barata, mas saber se o resultado é realmente bom permanece difícil. Para discutir esse problema, a série do Microsoft Design conversou com três pesquisadores do Microsoft AI: Christopher Monier e Chuck Kwong, ambos Principal UX Researchers, e Wendy Wang, líder do time de UX Research do Copilot. Os três construíram juntos um programa de avaliação de qualidade de respostas, que compara as respostas do Copilot com as de outros produtos de IA e rastreia as diferenças até o que os usuários valorizam. A convicção compartilhada deles: avaliações por máquina podem dizer se uma resposta cumpre os critérios definidos, mas só os usuários podem dizer se ela funcionou de fato.

O momento em que "bom o suficiente" deixou de ser óbvio

Cada pesquisador chegou ao problema por um caminho diferente. Chuck, ao entrar no Microsoft AI, partiu de uma pergunta simples - por que a equipe não via o produto como os usuários veem? - e de um estudo em que pessoas comparavam respostas do Copilot com as de outros produtos usando o mesmo prompt. O resultado foi surpreendente: usuários preferiam fortemente uma resposta a outra por motivos que ninguém estava medindo explicitamente. A distância entre o que as equipes consideravam uma boa resposta e o que os usuários preferiam era maior do que o esperado.

Chris percebia uma diferença vaga entre produtos e modelos sem conseguir nomeá-la, e suspeitou que os métodos de pesquisa de UX poderiam explicar essa ambiguidade. Wendy, de dentro da construção, observou que todos que fazem IA carregam pressupostos sobre o formato de uma boa resposta - tom, personalidade, aderência ao prompt. Conversas qualitativas com usuários reais complicavam esses pressupostos: a qualidade dependia do contexto e do objetivo que nunca entrava no prompt; conteúdo que a equipe classificaria como fora de tema às vezes era a parte mais útil da resposta. O trabalho passou a ser definir "bom" com precisão, mas a partir da perspectiva do usuário.

Quais dimensões só humanos podem julgar

Chris deriva de cinco a oito dimensões de qualidade dessas conversas, não como checagens genéricas. Um valor recorrente: usuários querem que a IA economize tempo na criação de documentos, mas preservar seu ponto de vista importa, e eles temem produzir "produtos genéricos". Para ele, acurácia factual pode ser checada por um LLM, mas só o usuário pode dizer se uma afirmação é relevante no contexto da estratégia da sua empresa. "Não podemos ter uma IA julgando a saída de outra sobre o que importa para uma pessoa no mundo real. Quase por definição, não dá."

Wendy vai além do teste em si: o time transforma os dados em "golden data sets" - âncoras concretas de respostas boas e ruins que alimentam conjuntos maiores avaliados por máquina. O maior avanço dela foi uma taxonomia de padrões de perda, que deu às equipes - de ciência de dados a engenharia e gestão de produto - uma linguagem comum sobre o que significa uma resposta "genérica" ou "rasa". A pesquisa de UX não termina nos achados: permanece no ciclo, na iteração de prompts, na construção de conjuntos de dados e no desenho das avaliações.

O que pesquisadores trazem de diferente

Chuck evita disputa de território: avaliação é esforço multidisciplinar, mas falta a voz do usuário em frameworks que dependem de LLM-as-a-judge ou anotadores especialistas. Pesquisadores também convertem conceitos subjetivos como confiança, utilidade e inteligência percebida em sinais mensuráveis. Chris concorda que não há mágica nos pesquisadores - o diferencial é o método, que incorpora imperfeições humanas. Seu exemplo favorito: fazer usuários escreverem seus próprios prompts, já que pessoas cansadas e distraídas omitem contexto relevante. Testar só com prompts perfeitos gerados por IA perde a realidade de como humanos interagem.

Wendy aponta o risco de super-sistematização - avaliações de turno único, juízes fixos, consultas controladas - que dilui o aprendizado sobre os porquês. A solução dela, vinda da prática de pesquisa: tratar a conversa como protótipo, dissecando-a em componentes. Foi assim que o time construiu avaliações multi-turno, em que as pessoas interagem e avaliam a troca inteira, não uma resposta isolada.

O campo está convergindo?

Um pouco dos dois, concordam os três. Chuck vê equipes ainda construindo frameworks próprios, mas percebe uma ciência de medição emergindo na interseção entre avaliação de IA, pesquisa de UX e psicometria. Chris nota que boas práticas e benchmarks surgem, mas não param no lugar: um framework útil há seis meses pode já ser irrelevante. Wendy é mais direta - um framework "envelhece em três meses porque o gosto pela IA já evoluiu". A convergência que vale perseguição não é um sistema, mas a prática de se manter calibrado ao gosto dos usuários; até a taxonomia dela é revisada constantemente.

Avaliar o modelo ou a experiência?

Chuck distingue avaliar o modelo de avaliar a experiência completa do produto - o segundo é muito mais difícil pelos fatores de confusão: a interface, o onboarding, os fluxos de múltiplas etapas. Fluxos agênticos agravam o problema, e o campo ainda não concordou em como avaliar esse conjunto, inclusive etapas que o usuário jamais vê. Chris destaca que a natureza probabilística da IA faz a diversidade de experiências dos usuários "explodir exponencialmente", e entender por que as pessoas usam algo é justamente o núcleo do trabalho do pesquisador de UX. Para Wendy, os mesmos dados de avaliação podem revelar o que a pessoa estava tentando fazer - uma resposta rápida, um problema de vida real, um passo destravado num fluxo - e essas são tarefas diferentes, com definições distintas de sucesso, que geram ideias de produto além de correções pontuais na resposta.