Estudo propõe avaliar agentes como produtos, não benchmarks

Tese

O estudo propõe avaliar agentes de programação como produtos usados por pessoas, e não apenas por sua capacidade de vencer benchmarks. Benchmarks de código medem tarefas bem especificadas, enquanto demonstrações abertas podem favorecer resultados visualmente impressionantes sem indicar utilidade real. Segundo o autor, a questão central passou de “o agente consegue fazer isso?” para quanto tempo e orientação humana ele exige, que decisões toma, como colabora e se ajuda a produzir um resultado de qualidade.

A proposta combina requisitos obrigatórios com espaço para escolhas de apresentação e fluxo de trabalho. Assim, busca avaliar eficiência, colaboração, julgamento e “gosto” em situações que funcionem como aproximações de usos reais. O método não pretende simular completamente o trabalho cotidiano, mas criar tarefas-proxy com critérios de sucesso e interação humana.

Método

Foram avaliadas cinco combinações de modelo e ferramenta: Z.ai GLM 5.2, Qwen 3.6 35B A3B, Laguna Poolside 2.1, Meta Muse Glimmer e Claude Opus 5. Os quatro primeiros foram usados com o harness Pi; Claude foi usado com Claude Code. Os modelos menores foram executados localmente, com diferentes compromissos entre parâmetros ativos e totais e, em alguns casos, quantização.

Cada agente construiu três aplicações para rotulagem de dados: uma interface para classificar 150 frases da Wikipédia entre a bolha das empresas ponto.com e a crise financeira de 2008; uma interface para ordenar cinco desenhos SVG de cada um de 50 símbolos; e uma ferramenta para corrigir e anotar 100 trechos de Python com erros sintáticos, usando as mensagens do interpretador. O autor primeiro criou uma implementação de referência com GLM e depois reproduziu, tanto quanto possível, as mesmas sessões e instruções de acompanhamento nos demais agentes.

A avaliação foi principalmente manual e qualitativa, considerando escolhas de estilo, bom senso, facilidade de uso, experiência de colaboração, depuração e necessidade de orientação. Número de turnos e tokens foram usados como indicadores aproximados de eficiência. O estudo não mediu diretamente a velocidade ou a precisão da tarefa final de rotulagem, embora o autor diga que esse seria um próximo indicador quantitativo relevante.

Resultados e conclusão

Claude Opus 5 foi considerado o mais capaz e exigiu menos turnos, quase concluindo as tarefas de uma só vez, mas realizou testes extensos sem sempre solicitar autorização. O uso teria custado cerca de US$ 50, e o autor ressalva que Claude Code pode ter influenciado fortemente esse comportamento. GLM foi considerado, para os fins testados, praticamente tão capaz quanto Claude, embora mais verboso, propenso a pensar por tempo excessivo e um pouco inferior em julgamento, exigindo mais direcionamento.

Qwen e Laguna produziram aplicações funcionais, mas precisaram de mais correções e orientação, apresentaram decisões de produto menos refinadas e, às vezes, ficaram presos em ciclos longos de raciocínio. Ainda assim, foram considerados autônomos e úteis na depuração. Muse foi descrito como extremamente direto e orientado à ação; apesar de ser mais lento na máquina local, terminou as interações mais rapidamente que Qwen e Laguna e teve desempenho igual ou superior ao dos outros modelos pequenos em julgamento e necessidade de direcionamento.

A conclusão é que, à medida que os modelos ultrapassam um nível mínimo de capacidade, avaliações centradas no produto podem ser mais informativas que pontuações brutas. O autor defende tarefas com função obrigatória, flexibilidade, usuário humano e critérios de experiência, complementadas por medidas de desempenho final quando possível.