IBM detalha como construiu os LLMs Granite 4.2 de raciocínio

A equipe do Granite, da IBM, apresentou os Granite 4.2: a primeira família de LLMs de raciocínio densos e somente decodificador, em tamanhos 3B, 8B e 30B, sob licença Apache 2.0. Todo modelo produz cadeia de raciocínio antes da resposta, alterna modos thinking e non-thinking conforme o quanto a tarefa pede deliberação, oferece um modo low-effort para perguntas simples e chama ferramentas nativamente.

Arquitetura e pré-treino

Os três tamanhos compartilham desenho denso de transformador com GQA, RoPE, SwiGLU, RMSNorm, embeddings de entrada e saída separados e precisão bfloat16. O pré-treino parte do zero com cerca de 15 trilhões de tokens em cinco fases: duas de fundação, duas intermediárias que refinam gradualmente para dados de maior qualidade e uma de contexto longo, que amplia a janela para 512 mil tokens.

Fine-tuning supervisionado

O SFT usa cerca de 7,2 milhões de amostras - perto de 100 bilhões de tokens, 65 bilhões treináveis - divididas em 31,6% agênticas e 68,4% não agênticas. O bloco agêntico é dominado por engenharia de software (69%) mais chamada de ferramentas e uso de terminal, gerado com arcabouços como OpenHands, OpenCode e Terminus-2. O controle de qualidade passa por juízes GPT-OSS-120B e Gemma 4, remoção de baixas pontuações, alucinações e chamadas inválidas de ferramenta, heurísticas e deduplicação por hash SHA-256. Execuções finais: 32–128 nós, quatro Grace/GB200 por nó, lote global de 128, cerca de duas épocas. O modelo de 30B ganha uma segunda fase focada em codificação agêntica, com upsampling desses dados e retenção de aproximadamente 16% como replay.

Aprendizado por reforço em estágios

Depois do SFT, cada capacidade recebe uma corrida independente de RL que parte do estado anterior, na sequência RLVR (recompensas verificáveis), reforçadores de habilidade, agente SWE, terminal, busca e RLHF. Todo estágio treina com GRPO assíncrono: geração e treinamento ficam em pools distintos e não se bloqueiam, as trajetórias caem num buffer compartilhado e a defasagem entre políticas é contida por um limite de uma atualização e por importance sampling truncado. As vantagens são relativas ao grupo com baseline leave-one-out, o que dispensa rede de valor; o RLVR inicial monta lotes de 4.096 exemplos com 256 prompts e 16 respostas cada.

As recompensas se dividem em três tipos: verificações objetivas difíceis de falsear, juízes de LLM para qualidade aberta e resultado agêntico - a tarefa resolvida de fato. Só 8B e 30B completam o bloco agêntico; o 3B cumpre apenas o RL fundamental e o alinhamento. Na etapa SWE, conduzida pelo arcabouço OpenHands, cada tarefa é um repositório real em sandbox e a recompensa exige aprovação nos testes ocultos. No terminal, via Harbor/Terminus-2, o modelo opera um shell vivo em tarefas de várias etapas. Na busca, responde perguntas de múltiplos saltos com pesquisa web avaliada por LLM juiz. O RLHF encerra todas as cadeias com modelo de recompensa generativo para preferências, recompensa de segurança contra jailbreak, a maior penalidade KL e punição extra a raciocínios verbosos adquiridos antes.

Infraestrutura de treino

NeMo-RL cuida do treino com Megatron-Core como backend e vLLM na geração; NeMo-Gym expõe ambientes, ferramentas, sandboxes e recompensas como recursos plugáveis sob interface uniforme, servindo igualmente a um verificador de matemática ou a um sandbox de repositório. O treino rodou num cluster NVIDIA GB200 NVL72 hospedado pela CoreWeave, com domínio NVLink de 72 GPUs e InfiniBand NDR de 400 Gb/s sem bloqueio.

Resultados e distribuição

Nas avaliações, o desempenho sobe de forma constante com o tamanho: no AIME25, de 78,33 (3B) a 89,17 (30B); no GPQA, de 54,80 a 66,41; no SWE Bench Verified, 47,67 no 8B e 57,00 no 30B; e 81,38 no RULER 128K. Os modelos atendem 12 idiomas, entre eles o português. Há também quatro variantes quantizadas: FP8 com pesos dinâmicos por canal e sem calibração, NVFP4 e MXFP4 calibradas com GPTQ sobre 2 mil amostras, e conversões GGUF pelo llama.cpp, de Q8_0 a Q2_K. Via endpoint compatível com OpenAI, os modelos se ligam a arcabouços de codificação agêntica como OpenCode, Pi e OpenHands sem adaptadores adicionais.