Cognition lança SWE-2 e promete superar GPT-5.6 Sol com 64% menos custo

Lançamento

A Cognition apresentou o SWE-2, seu modelo de codificação mais avançado até agora, que segundo a empresa empurra a fronteira de Pareto entre capacidade e custo. O modelo alcança 50,0% no FrontierCode 1.1 Main, a um ponto do Fable 5.1, e segundo a Cognition é 64% mais barato. O SWE-2 é pós-treinado a partir do Kimi K3, um modelo de 2,8 trilhões de parâmetros já submetido a RL extensivo para codificação agêntica; a empresa afirma que seu RL ainda encontra espaço relevante, somando de 5 a 6 pontos em muitos benchmarks.

Para isso, a Cognition diz ter escalado o RL ao regime de múltiplos trilhões de parâmetros pela primeira vez, sobre a infraestrutura de treino do SWE-1.7. O principal acréscimo é um algoritmo que treina todos os níveis de esforço de raciocínio em uma única execução.

Desempenho

Nos números apresentados, o SWE-2 supera SWE-1.7 e Grok 4.6 em pontuação e custo no FrontierCode 1.1 Main e no DeepSWE 1.1, iguala GPT-5.6 Sol e Fable 5/5.1 a uma fração do preço e fica a poucos pontos do GPT-6 Astra a um quarto do custo. Na tabela do FrontierCode 1.1 Main, o SWE-2 marca 50,0%, contra 44,2% do Kimi K3, 48,0% do Grok 4.6, 50,9% do Fable 5.1, 47,5% do GPT-5.6 Sol, 53,3% do GPT-6 Astra e 42,0% do SWE-1.7. O modelo faz ainda 73,0% no DeepSWE 1.1 e 92,8% no Terminal-Bench 2.1, mas apenas 27,3% no Terminal-Bench 4, bem abaixo do Fable 5.1 (55,8%) e do GPT-6 Astra (57,9%).

Comportamento

A Cognition associa inteligência e eficiência: mais julgamento de engenharia permite soluções mais completas, com menos desvios e leituras redundantes. No FrontierCode 1.1 Main, o SWE-2 medium supera o SWE-1.7 usando 58% menos turnos e custando 81% menos em média. O SWE-1.7 dá em média 127 passos por execução; o SWE-2 medium, 53; o high, 80; e o max, 98. O maior ganho de eficiência viria da exploração focada: o SWE-2 medium faz sua primeira edição real após uma mediana de 18 passos, contra 48 do SWE-1.7.

Em testes internos, a empresa relata melhor cobertura de testes ponta a ponta; mais disposição para achar rotas alternativas dentro dos limites do usuário - em um caso, reconstruiu dados do histórico de um canal do Slack quando uma integração MCP necessária não estava disponível; e disciplina de verificação, rederivando conclusões em vez de reafirmá-las. Os níveis de esforço diferem: o medium age mais rápido; high e max planejam mais, exploram mais o código e administram incertezas em tarefas complexas.

Treino

O texto detalha o pós-treinamento. A principal mudança é uma penalidade de custo linear por nível de esforço, aplicada em uma única execução de RL, com cada penalidade ajustada à inclinação local da fronteira de Pareto do modelo base. A Cognition deriva esse objetivo de primeiros princípios e argumenta que só uma penalidade linear mantém o resultado igual quando aplicada antes ou depois da média de custo. Também descreve a linha de base de recompensa ponderada por comprimento, usada desde o SWE-1.6, melhorias no serviço de rollouts (prefill delayer, decodificação especulativa DSpark, kernels NVFP4/FP8 com treino consciente de quantização) e mudanças nos dados, como triplicar os ambientes de RL e endurecer verifiers contra recompensa indevida.

Confiabilidade e disponibilidade

A Cognition repete duas avaliações de confiabilidade. Na de propaganda e censura - 145 perguntas sobre temas politicamente sensíveis na China, em inglês, chinês simplificado e tradicional -, o SWE-2 passou em 98,0% no geral: 99,8% em inglês, 95,2% em chinês simplificado e 99,1% em chinês tradicional. Na avaliação de vulnerabilidade dependente de contexto em tarefas de código, nenhuma condição de enquadramento de cliente ou idioma produziu aumento ou redução estatisticamente significativa na vulnerabilidade de qualquer modelo. A SWE-2 está disponível a partir de hoje no Devin Desktop e na CLI, e em lançamento no Devin Web e no Fusion.