Terminal-Bench-Science testa agentes em fluxos reais de pesquisa

O que o benchmark mede

O Terminal-Bench-Science 0.1 é um benchmark contínuo para avaliar agentes de IA em fluxos de trabalho científicos reais, definidos por pesquisadores e não por desenvolvedores de modelos ou fornecedores de dados. Liderado por pesquisadores da Stanford University e criado pela equipe do Terminal-Bench em colaboração com especialistas de várias disciplinas e instituições, o projeto busca medir capacidades científicas por meio de tarefas desafiadoras, verificáveis e próximas da prática de pesquisa.

A primeira versão reúne 70 tarefas nas ciências da vida, físicas, da Terra, matemáticas e de engenharia. Elas incluem análise de dados científicos, inferência estatística, simulação, otimização, demonstração de teoremas, reconstrução de imagens, processamento de sinais, problemas inversos, calibração de sensores, ajuste de modelos, classificação e aprendizado de máquina científico. Os resultados são avaliados por artefatos concretos - como análises, simulações, provas, código e produtos de dados - usando testes reproduzíveis e específicos para cada tarefa.

Curadoria e evolução

As tarefas são propostas por pesquisadores em um processo aberto no GitHub, com discussão no Discord. Das 920 propostas recebidas, 464 foram aprovadas para implementação, 386 pull requests foram abertas e apenas 70 tarefas chegaram à versão 0.1. Cada proposta precisa representar um fluxo cientificamente fundamentado; depois, revisores de domínio verificam a validade e o realismo, revisores técnicos analisam a construção e a verificação, e um responsável pela qualidade faz a avaliação final. O projeto teve 376 colaboradores de 22 países.

A iniciativa pretende funcionar como um ciclo de retroalimentação entre as necessidades científicas e o desenvolvimento de IA. Novas versões devem adicionar tarefas, ampliar a cobertura, retirar problemas que os agentes já tenham saturado ou que se mostrem mal especificados e recalibrar o conjunto conforme modelos mais avançados forem lançados. As tarefas são versionadas para permitir reutilização, nova correção ou repetição dos testes.

Resultados iniciais

Cada sistema avaliado realizou três testes independentes por tarefa. Claude Opus 5, executado com Claude Code, obteve a maior taxa de resolução, de 30,0% das 70 tarefas. GPT-5.6 Sol com Codex alcançou 22,4%, e Claude Fable 5 com Claude Code, 21,4%. Claude Opus 4.8 marcou 10,5%; GPT-5.6 Terra, 8,6%; GLM 5.3, 8,1%; Kimi K3 e Grok 4.6, 7,1% cada; e GPT-5.6 Luna, 3,3%.

As taxas ficaram mais de 10 pontos percentuais abaixo das registradas pelos mesmos modelos no Terminal-Bench 3.0, embora o novo benchmark diferencie os sistemas em grau semelhante. Segundo o projeto, essa redução foi intencional: as tarefas foram calibradas para desafiar os modelos de fronteira mais recentes. O desempenho também varia por área. Claude Opus 5 lidera em quatro dos cinco domínios; nas ciências matemáticas, Claude Fable 5 alcança 33,3% e GPT-5.6 Sol, 31,4%. Nas engenharias, Grok 4.6 empata com GPT-5.6 Sol em segundo lugar, com 14,8%, usando menor custo e menos tokens.

Custo e uso de tokens formam outras dimensões de comparação. Claude Opus 5 teve a maior taxa de resolução ao custo de US$ 7 mil, enquanto GPT-5.6 Sol igualou o desempenho de Claude Fable 5 por menos de um terço do custo: US$ 4,2 mil contra US$ 14,2 mil. Fable 5 usou cerca de um quarto menos tokens que Sol, 6,4 bilhões contra 8,4 bilhões.

Próximos passos

O benchmark conclui que ainda há amplo espaço para melhorar agentes capazes de auxiliar pesquisas. A versão 0.2 já está em desenvolvimento, com prazo para pull requests em 5 de outubro de 2026. A proposta é permitir que cientistas definam diretamente quais capacidades devem ser medidas e acompanhem, em aberto, a evolução desses sistemas.