stamatios
← Voltar ao feed
Bloco de cristal compacto pesando mais que torres de servidores gigantes numa balança, metáfora do Ripple-65B
IA & Modelos · Open Source

Ripple-65B Preview: modelo aberto de 65B supera maiores rivais dos EUA

resumo de ~3 min

Desempenho declarado em programação agentica

A Ricursive Intelligence apresentou o Ripple-65B Preview, um modelo de linguagem de pesos abertos com 65 bilhões de parâmetros. Segundo a empresa, o modelo alcança 80,52 no TerminalBench 2.1, a maior pontuação entre modelos de pesos abertos dos EUA nesse teste, e supera modelos americanos com muito mais parâmetros: Reflection Beam 501B (80,1), Meta Muse Spark Open 816B (76,4), Thinking Machines Inkling 975B (63,8) e NVIDIA Nemotron 3 Ultra 550B (56,4). O Ripple é uma versão de uso geral de um modelo proprietário que alimenta a plataforma de design de chips da própria empresa. Ele foi pré-treinado com 12 trilhões de tokens e suporta contexto de até 1 milhão de tokens. Está disponível no Hugging Face, Together AI, GMI Cloud, OpenRouter e Fireworks.

Custo de treinamento

O texto contrasta o custo do Ripple com estimativas de treinamento de modelos de fronteira. Em 2023, Sam Altman, CEO da OpenAI, disse que o treinamento do GPT-4 custou mais de 100 milhões de dólares. No ano seguinte, Dario Amodei afirmou que modelos de fronteira podem custar até 1 bilhão de dólares e projetou custos de 10 a 100 bilhões de dólares para o pré-treinamento entre 2026 e 2027. A Ricursive afirma ter desenvolvido o Ripple por 32 milhões de dólares, valor que, segundo a empresa, equivale a um décimo do custo do SOTA anterior de pesos abertos em programação agentica. A empresa ressalva que essa comparação é uma estimativa feita "to the best of our knowledge". O número de 32 milhões inclui todo o custo de P&D, desde o zero: escalas de pré-treinamento, mistura de dados, avaliações, depuração, geração de dados sintéticos, desenvolvimento do pós-treinamento e a execução final de pré e pós-treinamento.

Aprendizado por reforço com menos rollouts

Segundo o texto, a empresa não buscou uma escalada de RL por força bruta. Ela ajustou com cuidado as receitas de SFT e RL, sem comprar dados de pós-treinamento e com pipelines próprios de dados sintéticos, filtragem de qualidade e métricas de cobertura. A receita de RL combina amostragem por importância truncada, centralização de pontuação e penalidade linear de comprimento, com ambientes sintéticos de horizonte longo. Segundo a empresa, o modelo chegou a 80,5 no TerminalBench 2.1 com cerca de 1,4 milhão de rollouts, aproximadamente 70 vezes menos que o Reflection Beam, citado como SOTA anterior.

Arquitetura e infraestrutura

O Ripple usa um Transformer denso modernizado, em vez de Mixture-of-Experts, escolha que, segundo a empresa, reduziu a complexidade da infraestrutura de treinamento e serviço. A equipe relata MFU de 40% durante o pré e o pós-treinamento, sem kernels customizados e sem quantização. O modelo tem formato "fino e profundo", com d_model de 5120 e 80 camadas. Entre as mudanças estão mais cabeças de atenção, maior proporção de camadas SWA para globais com janela SWA reduzida, ativação com clipping na FFN, atenção com portas, global NoPE e value residuals. A empresa afirma ainda que o modelo pode rodar de forma eficiente em dispositivos locais como o NVIDIA DGX Spark, que tem muito poder de computação e pouca largura de banda de memória em relação a aceleradores de datacenter.

Experimentos de escala

O processo de pré-treinamento partiu da escada de modelos do Olmo 3, do AI2, e testou intervenções em pequena escala com foco em programação. Segundo a Ricursive, as mudanças acumuladas melhoraram a eficiência computacional em código em até 16 vezes na escala de 4B, medida pela métrica dolma_stack CE. Na prática, a escada final poderia atingir desempenho de código semelhante à do Olmo 3 com 16 vezes menos computação. A empresa diz que a curva de base do Olmo 3 tem inclinação menor, o que sugere que o ganho tende a crescer com a escala. Algumas variantes foram descartadas, como o stream duplo de mHC, que não melhorou na escala de 4B.

Ressalvas

Todas as afirmações de desempenho, custo e eficiência vêm da própria empresa e não são verificadas independentemente no texto. O modelo é apresentado como uma prévia (preview). A comparação de custo com o Reflection depende de estimativa da Ricursive. Uma nota do texto informa que a Reflection teria se comprometido, segundo reportagens, com 150 milhões de dólares por mês em computação no SpaceX Colossus, e que o Beam levou quatro semanas no pré-treinamento e quatro no pós-treinamento, conforme relatado pela própria Reflection. A empresa também agradece contribuições de código aberto do time Olmo do Allen Institute for AI (AI2), da Prime Intellect, da RadixArk e da NVIDIA.

Conclusão

A Ricursive apresenta o Ripple-65B Preview como um passo para integrar modelos e o hardware que os executa. Segundo a empresa, uma variante interna do modelo já alimenta sua plataforma de design de chips, e a equipe pretende acompanhar as capacidades que surgirem conforme escalar em direção à fronteira.