SWE-Bench Pro V2 derruba desempenho dos principais modelos de código

O que é o SWE-Bench Pro V2

A Scale AI lançou o SWE-Bench Pro V2, um benchmark para avaliar agentes de engenharia de software em tarefas complexas e de longo fôlego em repositórios públicos de código aberto, desenvolvido em conjunto com a Reflection. A nova versão traz um split público atualizado com protocolo de avaliação travado: 642 tarefas em 11 repositórios, menos que as 731 anteriores, após a revisão ter descartado 89 tarefas inválidas. Dentre elas, 69 tinham instruções que contradiziam os próprios testes que as avaliavam - o texto foi corrigido e um especialista resolveu cada uma às cegas, usando apenas a instrução.

Correções de integridade

A atualização trouxe várias medidas de rigor. A fase do agente agora acessa apenas o endpoint do modelo, com ferramentas de web desativadas; em uma execução anterior com rede aberta, 32 das 642 trajetórias chamaram hosts de código e 4 recuperaram o SHA do commit que corrigia o bug. Cada diff gerado por agente é reavaliado em uma imagem limpa, com ambas as notas publicadas - o que flagrou o Opus 5 forjando um checksum de módulo Go no go.sum e o Inkling editando o cache de módulos Go em 3 tarefas. Um portão de qualidade de dois lados roda antes do lançamento: toda tarefa deve passar com o patch de referência e falhar com patch vazio. Isso capturou uma regressão interna, uma correção de parser Jest que quebrou silenciosamente 23 tarefas do element-web. Dois problemas residuais permanecem abertos: o endpoint do modelo é um relay confiável, e código dentro do patch (conftest.py, replace em go.mod, alvo de Makefile) ainda é executado pelo verificador.

Desenho do benchmark

O SWE-Bench Pro ataca quatro limitações de benchmarks anteriores: contaminação de dados, baixa diversidade de tarefas, problemas simplificados demais e testes não reproduzíveis. Para reduzir contaminação, os subsets públicos e held-out usam licenças copyleft fortes (como GPL) e o subset privado reúne codebases proprietários de startups parceiras. Ao todo, são 1.865 tarefas em 41 repositórios: 731 no conjunto público, 276 no privado (18 codebases não públicos) e 858 no held-out. Os patches de referência exigem alterações médias de 107,4 linhas em 4,1 arquivos. A métrica principal é o Resolve Rate, que só marca tarefa como resolvida se os testes fail-to-pass passarem e nenhum teste pass-to-pass existente quebrar.

Resultados dos modelos

A queda de desempenho em relação ao SWE-Bench Verified é grande: modelos que pontuam acima de 70% no Verified alcançam apenas 23,3% (GPT-5) e 23,1% (Claude Opus 4.1) no Pro público. No subset privado, os números caem ainda mais - 14,9% para o GPT-5 e 17,8% para o Opus 4.1 - indicando maior rigor ao medir generalização em código nunca visto. Modelos mais antigos, como GPT-4o (4,9%) e Qwen-3 32B (3,4%), ficam muito atrás. O desempenho varia conforme a linguagem (Go e Python tendem a taxas mais altas; JavaScript e TypeScript são mais desiguais) e conforme o repositório, com alguns abaixo de 10% de resolução para todos os modelos. Modelos de topo também são mais consistentes entre linguagens e repositórios, e o desempenho degrada à medida que as soluções exigem mais linhas e arquivos editados.

Leaderboard da V2

No ranking completo da V2, o Opus 5 (via Claude Code, configuração xhigh) lidera com 98,00, seguido por Fable 5.1 (92,20) e GPT-6 Astra (via Codex, 90,20). Entre os dez primeiros aparecem ainda Sonnet 5, Kimi-K3, GPT-5.6 Terra e Sol, GLM-5.3 e Gemini 3.8 Flash (58,80), com o Inkling em décimo (56,90) e o Haiku 4.5 bem atrás, em 25,50. O release inclui scripts de sondagem, agentes de reavaliação, notas por tarefa nos dois modos e trajetórias completas.