Como escrever definition of done para features de IA

Evals como nova PRD - e o que elas não capturam

Jeff Gothelf parte de um exemplo concreto: em agosto de 2026, a rede de supermercados americana Albertsons afirmou ao Wall Street Journal que clientes que usam seu assistente de compras com IA gastam 10% mais ao usar a busca conversacional e até 26% mais na versão mais completa do assistente. Jill Pavlovich, SVP de experiências digitais de compras da empresa, atribuiu o ganho ao fato de que os clientes "não estão esquecendo itens". Gothelf destaca que "não esquecer o leite" é um resultado (outcome) - um comportamento humano que a loja não consegue medir diretamente, pois só o cliente sabe que esqueceu algo.

Ele situa o debate atual sobre PRDs na era de IA: cresce o consenso de que evals são a nova PRD, tese publicada por Ameya Bhatawdekar (Braintrust) e Lisa Murkin (Mind the Product). Kevin Weil, CPO da OpenAI, é citado no texto da Braintrust dizendo que "escrever evals é a coisa mais importante que um PM pode fazer na era da IA". A lógica faz sentido: prever requisitos antecipadamente para um sistema que gera saídas diferentes por usuário, prompt e modelo é quase impossível - evals conseguem fazer isso.

Mas Gothelf aponta uma lacuna: um eval indicaria se o assistente da Albertsons retorna respostas bem-formadas, precisas e alinhadas à marca, mas dificilmente revelaria clientes esquecendo itens, porque isso é uma qualidade do comprador, não do sistema. Evals focam no comportamento do sistema - e, no caminho da PRD tradicional para a PRD de IA, o cliente está sendo perdido da conversa outra vez, provavelmente sem intenção.

Por que eval são definition of done, e não especificação

Evals são testes com critérios de aprovação/reprovação: são executáveis, rodam a cada commit de código novo, detectam regressões e resolvem discussões de qualidade com dados em vez de opinião. Todas essas propriedades, porém, tratam do comportamento do sistema, nada diz sobre o cliente.

Uma suíte de evals com 94% de acerto mostra que a funcionalidade se comporta conforme especificado em 94% das vezes. Não mostra se alguém quer a funcionalidade, se o fluxo de usuário melhorou ou se quem paga pelo serviço gasta mais ou menos, e por quê. Murkin e Bhatawdekar, reconhece Gothelf, já alertam contra otimizar notas de eval em vez de resultados para o usuário. Nota de eval é, no fim, um output: indica um sistema mais previsível e alinhado à marca, mas não mede entrega de valor.

Os quatro itens a anexar à suíte de evals

Para que evals formem uma definição de "pronto" completa, Gothelf propõe quatro elementos:

A nota específica de conformidade nos evals que será tolerada - mais do que "o eval passou": uma pontuação escrita e acordada como exigência para lançar.
O resultado (outcome) que a funcionalidade deve mover - ao menos uma frase por eval nomeando um comportamento específico que se espera que o cliente faça de forma diferente. Sem isso, o eval mede qualidade de algo que pode não agregar valor ao usuário.
A pessoa responsável por corrigir falhas de eval/outcome - nomear alguém para investigar por que o bot não atinge as metas de eval e de resultado e direcionar a correção, que pode ser de modelo, de UX ou de conteúdo.
A data de atualização do conjunto de evals com dados de produção - o dataset de eval e os resultados desejados refletem o que se achava que os usuários fariam; sistemas em produção refletem o que fazem de fato.

Três desses itens, segundo ele, já deveriam existir na suíte; é o segundo - o resultado do usuário - que torna a definição de pronto apta a produto.

Aplicando ao caso Albertsons

No exemplo da Albertsons, os evals podem verificar se o assistente retorna um produto real em estoque na loja certa, formata a lista corretamente e respeita restrição alimentar declarada - e tudo pode passar enquanto o cliente ainda esquece o leite. O único mecanismo para capturar algo "esquecido" é o tamanho da cesta, e ele não confirma o esquecimento: o comprador pode já ter o item em casa.

O aumento de cesta que a Albertsons relata exige que o assistente reconheça o que o cliente pretende cozinhar na semana e pergunte se faltam ingredientes no carrinho. Tamanho da cesta é o resultado de negócio; ajudar as pessoas a não esquecer ingredientes é a experiência vencedora que faz o cliente voltar. É justamente essa parte que os evals costumam deixar passar. Conclui Gothelf: evals e resultados são os dois lados da história que times precisam para entregar produtos de IA bem-sucedidos.