Magic diz ter pretraining 10x mais eficiente em compute
A alegação central
A Magic diz que sua receita de pretraining é hoje mais de 10x mais eficiente em compute do que a dos principais modelos base de pesos abertos. Afirma não ter 100 mil chips e que, por isso, o único caminho era a eficiência algorítmica. Segundo a publicação, o modelo iguala o DeepSeek V4 Pro Base com cerca de 50x menos FLOPs - perto de metade do compute de pretraining do GPT-3, ou aproximadamente US$ 0,5 milhão em GB200. A empresa diz ter escalado mais 10x (cerca de US$ 4 milhões) e superado de forma significativa todos os modelos base abertos disponíveis publicamente em avaliações de perplexidade. Pelas leis de escala apresentadas, treinar um modelo com essa capacidade custaria mais de US$ 100 milhões sob a receita do DeepSeek V4 Pro. A Magic afirma que vai continuar escalando e que seu objetivo é o melhor modelo para código e para automatizar P&D em IA, partindo da tese de que pretraining, RL agêntico e contexto longo bastam para construir agentes de código sobre-humanos.
Como a empresa mediu
A métrica é bits por byte em dados reservados, que normaliza diferenças entre tokenizadores; a empresa ajusta uma lei de escala para projetar o compute necessário a determinado nível de capacidade. Os conjuntos de avaliação usam parser/OCR diferente do pipeline de pretraining, e foram removidos código de terceiros e documentos com janela de 96 caracteres idêntica ou similaridade de Jaccard acima de um limiar. Os FLOPs são aproximados por 6·N·D.
As comparações são com DeepSeek V4 Flash e Pro, Kimi K2 e Nemotron 3 Ultra. Logprobs de modelos abertos foram medidos em vLLM e SGLang, em GB200 e GB300, e a Magic diz ter encontrado problemas em alguns backends; para confirmar, fechou parceria com a Fireworks. Modelos base de Claude, Gemini e GPT-n não são abertos; segundo a publicação, Kimi K3 e o Muse Spark, da Meta, indicam ganhos de 2,5x e 3,3x sobre o Kimi K2.
Os multiplicadores de compute efetivo variam por avaliação - de 127x contra o DeepSeek V4 Pro em raciocínio em problemas de matemática reservados até 12x contra o DeepSeek V4 Flash em artigos de matemática. Foram ajustadas leis de escala em 167 domínios, incluindo áreas que a empresa diz priorizar menos, como fatos sobre pessoas notáveis, notícias locais e esportes. Nas avaliações de conhecimento, documentos foram reescritos ou resumidos por um LLM de fronteira de terceiros para não premiar memorização. A Magic registra uma surpresa: o Nemotron 3 supera o DeepSeek V4 Pro em todos os domínios testados, o que, segundo ela, pode indicar que o desempenho fraco do Nemotron após RL decorre de pós-treinamento mais fraco, com pretraining à frente dos concorrentes abertos chineses.
Sem atalhos
A empresa relata que os primeiros scale-ups de pretraining, iniciados por um modelo denso pequeno treinado no fim de 2024 com arquitetura para contexto muito longo, falharam de várias formas. Foi preciso construir uma base estável: convergência suave, qualidade de treino em baixa precisão equivalente a FP32, infraestrutura rápida e estável, regras corretas de escala de hiperparâmetros e caça a bugs. O progresso, diz, veio do efeito multiplicativo de dezenas de mudanças em arquitetura, otimizador, objetivo de treino e curadoria de dados. Speedruns de NanoGPT dão ciclo rápido de teste, mas muitos ganhos em modelos pequenos não se transferem, e algumas características presentes na maioria dos LLMs podem ser removidas sem prejudicar o desempenho em escala. Cada mudança é avaliada com três modelos que cobrem duas ordens de magnitude de compute; só é mantida se o ajuste de lei de potência sugerir ganho em escala.
RL e próximos passos
Como verificação, foi rodado um RL curto de matemática com orçamento de 16k tokens de cadeia de pensamento, partindo direto do modelo base, sem SFT ou destilação. Na avaliação privada de 400 problemas de competição, mais difícil que a AIME, o V5 (e24) aparece com 72% de pass rate, abaixo de GPT-6 Astra (100%), Claude 5.1 (98%), Muse Spark 1.3 (88%), Gemini 3.8 (83%) e Kimi K3 (75%), e acima de Grok 4.6 (71%), DeepSeek V4 Pro (65%) e Nemotron 3 (27%). Segundo o texto, o e24 cruzou 90% no AIME26 pass@1 usando cerca de 0,2% do orçamento de compute de pretraining e segue subindo de forma log-linear.
Os próximos passos declarados são escalar RL de horizonte longo, treinar agentes que continuem aprendendo após o deployment via contexto longo, trabalhar em técnicas de alinhamento com propriedades teóricas robustas e, por fim, lançar o produto. A empresa diz ser provavelmente o menor time do mundo treinando modelos de trilhão de parâmetros.