Novo benchmark Real-SWE testa agentes em código corporativo privado

O que é o Real-SWE

A Specific Labs lançou o Real-SWE, um benchmark que avalia modelos de IA de fronteira em bases de código empresariais privadas e reais. Cada tarefa vem de um código de produção privado licenciado de uma empresa real, não de repositórios públicos. São problemas que engenheiros dessas empresas enfrentam, com o contexto e a complexidade de um produto existente. Os agentes precisam navegar por sistemas proprietários cujo código e soluções não estão disponíveis na internet. As tarefas têm consequências de negócio, como acertar cobrança, calcular impostos e migrar clientes, muitas vezes atravessando múltiplos serviços. Também exigem entender regras e padrões de escrita de cada empresa e fazer mudanças que funcionem com o que já existe.

A pergunta central é se um agente de código consegue de fato fazer o trabalho de um engenheiro de software no mundo real. A avaliação usa harnesses nativos de cada modelo e mede combinações de modelo e harness em vez de modelos isolados.

Resultados

O ranking tem oito modelos. A taxa de resolução equivale a pass@1, com média de oito execuções independentes por tarefa; a fonte informa intervalos de confiança de 95%. Fable 5.1 lidera com 38,8%. GPT-6 Astra alcança 33,8%. Gemini 3.8 Flash fica em 31,2%. GLM 5.3 registra 28,8%. Grok 4.6 e Muse Spark 1.3 empatam em 23,8%. Kimi K3 marca 18,8%. GPT-5.6 Sol tem 16,2%.

Seis das dez tarefas analisadas têm taxa de resolução inferior a 15%. A tarefa Analytics stream reducer não foi resolvida por nenhum modelo em nenhuma das oito tentativas. Nenhum modelo resolveu todas as tarefas.

Falhas e custo

A fonte agrupa as falhas em cinco categorias: suposição não verificada, requisito não atendido, erro de integração, regressão e arquivo errado. O requisito não atendido é a falha mais comum em vários modelos; no Grok 4.6, responde por 67,2% das execuções falhas, e no Kimi K3, por 53,8%. O Gemini 3.8 Flash tem no erro de integração sua principal falha (49,1%). A suposição não verificada é mais frequente no GPT-5.6 Sol (43,3%).

Os modelos falham até em execuções curtas: 71,4% das execuções com menos de 10 minutos falharam, contra 73,4% das execuções com 10 minutos ou mais. A análise de custo mostra que maior gasto não garante maior taxa de resolução. Os custos estimados por execução vão de US$ 2,50 a US$ 6,96. O Gemini 3.8 Flash é o mais barato (US$ 2,50) com 31,2% de resolução; Fable 5.1 é o mais caro (US$ 6,96) e também o de maior resolução. Para Grok 4.6 e Kimi K3, a fonte ressalva que o uso foi incompleto e o custo real pode ser maior.

Metodologia e contexto

As bases de código foram selecionadas por um processo rigoroso, com foco em empresas reais com uso substancial, times de engenharia fortes e cargas de produção exigentes. Entre os exemplos estão um concorrente de Luma/Partiful com mais de 200 mil usuários e ranking no top 100 da App Store, uma plataforma de fintech de consumo que processa mais de 100 mil extratos bancários e plataformas de vendas empresariais de IA. As instruções típicas têm 1.742 caracteres na mediana, e a solução de referência edita 11 arquivos na mediana, contra 6 em FrontierCode e DeepSWE.

Cada agente roda em um sandbox isolado. As tarefas estão no formato Harbor e os verificadores são injetados no momento da avaliação; eles são inspirados em suítes de teste existentes no código ou usam esses testes verbatim. A fonte argumenta que tarefas em bases privadas são naturalmente fora de distribuição, que 99% dos tokens em empresas reais ficam ocultos dos modelos de fronteira e que esse tipo de trabalho tem relação direta com gasto e foi atribuído a engenheiros assalariados. A conclusão é que os resultados indicam que os modelos ainda estão distantes do padrão de um código empresarial real, especialmente por não entenderem bem padrões de código das empresas e por frequentemente deixarem de atender requisitos ou não verificarem suas premissas.