stamatios
← Voltar ao feed
Cursor de terminal rápido deixando rastro luminoso sobre teclado, metáfora do modelo SWE-2 Flash para código
Dev & Engenharia · IA & Modelos

Cognition apresenta SWE-2 Flash, modelo de código com etapa de mid-training

resumo de ~3 min

Lançamento e desempenho

A Cognition apresenta o SWE-2 Flash, um modelo de código que, segundo a empresa, combina inteligência com baixo custo e alta velocidade. O texto diz que o modelo é totalmente americano. Como novidade no processo de treinamento, a empresa incluiu uma etapa de mid-training antes do aprendizado por reforço. Em relação ao modelo-base, Inkling-Small, da Thinking Machines, a Cognition afirma que o SWE-2 Flash subiu de 0,9% para 20,0% no Terminal-Bench 4.0 e de 3,2% para 24,0% no FrontierCode 2.0.

Nos principais benchmarks citados, a empresa afirma que o modelo supera todos os modelos americanos de pesos abertos, inclusive modelos três vezes maiores. A tabela divulgada mostra, por exemplo, 60,1 do SWE-2 e 17,4 do SWE-2 Flash no DeepSWE 1.1, e 89,9 do SWE-2 contra 56,5 do SWE-2 Flash no SWE-Bench Pro v2 Hard. Ou seja, o texto não afirma superioridade geral sobre o SWE-2 maior; a comparação destacada é com modelos abertos americanos.

Segundo o texto, o SWE-2 Flash custa um quinto do preço do SWE-2 e opera três vezes mais rápido, com 200 contra 60 tokens por segundo em uma simulação. Ele está disponível hoje no Devin Desktop e na CLI.

Treinamento

O mid-training partiu do Inkling-Small, com 276 bilhões de parâmetros totais e 12 bilhões ativos. A equipe afirma que o principal desafio foi definir a mistura de dados: quais fontes incluir e em que proporção. Para isso, criou um conjunto de dados de código de alta qualidade, separado para validação, e usou gráficos de eficiência de tokens. Esses gráficos comparam quantos tokens cada mistura precisou para alcançar a mesma perda de validação do treinamento-base.

A mistura final reúne alguns trilhões de tokens de artigos científicos, blogs, código e outras fontes. O treinamento foi dividido em três etapas, para que os dados mais raros e de maior qualidade aparecessem mais tarde. Segundo a empresa, a perda de validação caiu de forma estável em escala log-linear em todas as etapas.

Depois do mid-training, veio o aprendizado por reforço em larga escala. A empresa diz que mudou pouco a receita usada no SWE-2 e que a maior parte da melhora veio da qualidade e diversidade das novas tarefas. Auditou instruções, configuração de ambiente e verificadores, e incluiu tipos de tarefa que cobrem uma faixa mais ampla de capacidades. Segundo o texto, isso melhorou quase todos os benchmarks medidos.

Segurança e pesos

A Cognition argumenta que clientes sensíveis precisam de mais que um modelo acessível por API. Empresas e governos podem precisar de observabilidade e de hospedar o modelo em infraestrutura própria, inclusive on-premises. Pesquisadores também precisam estudar comportamento e possíveis usos indevidos.

A empresa afirma ter direcionado parte do treinamento a trabalho de cibersegurança, elevando a pontuação no ExploitBench de 11,3% para 34,8%. Ao mesmo tempo, reconhece que essas capacidades podem ser usadas por atacantes, citando um aumento recente de ciberataques. Por isso, não vai compartilhar os pesos publicamente por enquanto. A alternativa anunciada é um programa para compartilhar os pesos com parceiros industriais e laboratórios de pesquisa confiáveis, cujos detalhes seriam divulgados em algumas semanas.

O texto indica ainda que o acesso gratuito vai até 30 de novembro.