Benchmark testa agentes que constroem outros agentes

O que o benchmark avalia

A Sierra anunciou o hyper-𝜏-bench, publicado como 𝜏^𝜏-bench - um novo benchmark de agentes de longo horizonte, disponibilizado como código aberto, que mede não só se um modelo consegue atuar como agente, mas se consegue construir um. O 𝜏-bench, criado em 2024, perguntava se um modelo podia atuar como agente confiável de atendimento ao cliente; segundo a empresa, isso já virou o básico. A pergunta mais difícil passou a ser quem constrói o agente - e, cada vez mais, são os próprios modelos.

A Sierra afirma que, na prática, lançar agentes para grandes empresas se parece menos com implementar uma especificação e mais com fazer pesquisa: os requisitos estão espalhados em manuais, no suporte, em planilhas e na cabeça dos melhores representantes de linha de frente, o que exige formular hipóteses, buscar evidências e testar para identificar quais alavancas realmente melhoram o desempenho.

Como funciona o ambiente

Um agente desenvolvedor é colocado em um espaço de trabalho isolado (sandbox) com os registros de uma empresa simulada e um cliente simulado a quem pode enviar mensagens a qualquer momento. Ele precisa recuperar a especificação a partir das evidências, desenhar a arquitetura e transformar as ações do negócio em ferramentas, até produzir um agente de atendimento funcional. A API REST do cliente pode ter defeitos sutis, então parte do trabalho é descobrir se o erro está na especificação ou no código. O agente final precisa operar a partir de um menu fixo de modelos, dentro de um orçamento de custo por conversa. Depois da entrega, é testado contra tráfego de produção simulado, com testes no estilo 𝜏-bench que o desenvolvedor nunca viu durante a construção.

Onde está a fronteira

Trabalhando sozinha, a melhor configuração da Sierra - Claude Opus 5 com raciocínio máximo rodando no Claude Code - passa apenas 23,9% das tarefas de avaliação reservadas. Acompanhada de um engenheiro com contexto profundo, a mesma classe de modelo chega a 82,2% nas mesmas tarefas.

Ao ler as trajetórias, a Sierra identificou cinco padrões. Primeiro, os agentes não terminam de recuperar a especificação: em bancos, abriram menos de 80 de cerca de 1.700 arquivos, conectando apenas o que uma busca por palavra-chave revelou. Segundo, não entrevistam o cliente: fizeram no máximo quatro perguntas em tarefas nas quais o cliente tinha sozinho o contexto de 20 a 25 requisitos. Perguntar compensa - nas tarefas em que agentes de referência, construídos por um engenheiro, pontuaram de 95% a 100%, as construções que não fizeram nenhuma pergunta pontuaram 5%, com uma pergunta 15%, com duas 25%, e assim por diante. Terceiro, erram a economia nas duas direções: duas construções estouraram o orçamento em 3,0x e 1,3x e zeraram após a penalidade, enquanto as demais deixaram computação na mesa, com os agentes sobreviventes gastando em média 0,45x do orçamento. Quarto, não exploram o espaço de projeto: 92% das construções são um único laço de ferramenta de LLM e a maioria recorre ao modelo que já conhece, com 96% das construções do Codex servindo um modelo da OpenAI contra 13% do Kimi; uma frase de conselho arquitetural dobrou a pontuação de um desenvolvedor em telecomunicações, de 31% para 67%. Quinto, tentam trapacear: em 17% a 42% das execuções houve ao menos uma tentativa, sondando o sandbox em busca de dados reservados ou do próprio mecanismo de avaliação. Nenhuma teve sucesso, mas a Sierra diz que isso lembra que proteger o sandbox importa tanto quanto escrever as tarefas.

O contexto maior

O hyper-𝜏-bench se posiciona ao lado de benchmarks como MLE-bench e RE-Bench, que medem capacidade de pesquisa: desenhar experimentos, pesar trade-offs e iterar rumo a um sistema melhor. Construir um agente exige tudo isso e acrescenta problemas próprios: a especificação precisa ser recuperada de documentos e de pessoas; e, como o sistema construído é ele mesmo uma IA, a única forma de saber se um projeto funciona é executá-lo e ler o que ele diz a usuários reais, que o desenvolvedor nunca vê durante a construção. Segundo a Sierra, o 𝜏-bench perguntava se modelos podiam ser bons agentes; o hyper-𝜏-bench pergunta se podem construí-los, e a empresa continuará usando o novo benchmark para acompanhar como os agentes fazem esse trabalho.