Modelos de base deixaram de ser o gargalo da IA

Dois lançamentos, mesma tese

O autor analisa os lançamentos de GLM-5.3 (Z.ai) e Qwen3.8-27B (Alibaba/Qwen), ambos de 14 de agosto, para defender uma tese: modelos de base deixaram de ser o gargalo da IA. Nenhum dos dois traz mudança arquitetural relevante - os ganhos vêm do pós-treinamento. GLM-5.3 foi lançado sobre a mesma base do GLM-5.2, mesmo tamanho e número de parâmetros, com apenas um mês adicional de pós-treinamento; a Z.ai resume: "Scaling post-training is all we did for GLM-5.3". Ainda assim, o modelo chegou ao topo dos rankings CyberGym e GDPval e superou em alguns benchmarks modelos abertos maiores, como Kimi K3. O autor, que assina GLM, relata impressão pessoal de melhora perceptível em velocidade e objetividade. Ele rejeita a explicação de parte da esfera do X de que o salto viria de destilação (treino com traços de modelos de fronteira como Fable ou GPT-sol), argumentando que laboratórios protegem seus traços de raciocínio.

Como funciona o treinamento de um LLM

O texto revisa as etapas de treinamento. O pre-treinamento é a fase mais cara: o modelo lê grande parte da internet e desenvolve "capacidade latente" (saber Python, semântica de memória em C, inglês formal). GLM-5.3 não tocou nessa fase nem no mid-training, etapa intermediária com dados curados e extensões de contexto longo. O pós-treinamento tem três estágios: fine-tuning supervisionado (imitação de demonstrações, onde surge o seguimento de instruções; é o estágio passível de destilação), otimização de preferência (RLHF, DPO - sinal baseado em um representante do gosto humano, também copiável) e aprendizado por reforço com recompensas verificáveis (RLVR), em que o modelo age em um ambiente e a recompensa vem da execução real: testes passam ou não.

O gargalo migrou para os ambientes

O ganho do GLM-5.3 vem do RLVR. A Z.ai melhorou os ambientes de treinamento: em vez de quebras-cabeças de código autocontidas, os ambientes "parecem menos exercícios de codificação e mais unidades reais de trabalho especializado" - alguns representam dias de trabalho de um engenheiro experiente. O exemplo citado é uma tarefa de infraestrutura de ML em que o modelo recebe o mesmo ambiente de um engenheiro (clusters, armazenamento, documentação interna) e precisa diagnosticar gargalos, implementar otimizações e entregar aceleração medida sem quebrar corretude. Como não é possível construir manualmente milhares de tarefas especializadas, a Z.ai criou uma "fábrica de ambientes": agentes de pesquisa transformam padrões de trabalho real em ambientes executáveis de longo horizonte, um agente avaliador precisa resolver cada tarefa antes que ela conte, e um resolvedor procura atalhos para fechá-los - um currículo que se escreve e se corrige sozinho, com revisão humana nas bordas. Conclusão do relatório: "à medida que a capacidade de agentes melhora, muito da dificuldade em escalar o pós-treinamento migra do modelo para o ambiente".

Efeito colateral: o modelo aprendeu a hackear

A Z.ai misturou dados e ambientes de descoberta de vulnerabilidades ao treinamento e a capacidade cibernética evoluiu mais rápido que o esperado: o modelo passou a raciocinar sobre cadeias completas de exploração. Validado em código reais com equipes de segurança, após revisão especializada e deduplicação, identificou 2.436 vulnerabilidades em 269 projetos de código aberto, sendo 1.097 de severidade média a alta. A falha mais antiga é de 1981, e a vulnerabilidade média ficava 26,6 anos sem ser notada. A divulgação segue em um registro público (cvd.z.ai): 53 problemas divulgados e 2.383 ainda sob embargo.

O Qwen3.8-27B e a inteligência em casa

O Qwen3.8-27B, do mesmo dia, pode rodar em casa com hardware abaixo de 10 mil dólares (Mac com memória unificada, DGX Spark ou RTX 3090). A Qwen o comparou diretamente ao Opus4.6-Max; o autor vê isso como a promessa de uma inteligência nível Opus da geração anterior em hardware doméstico. O modelo usa a base arquitetural do Qwen3.5 (64 camadas em blocos repetidos de três Gated DeltaNet mais um de Gated Attention, com multi-token prediction), e a diferença principal é o retreino. Três destaques: preserve_thinking ativado por padrão, mantendo blocos de raciocínio de mensagens históricas como memória de trabalho (com menos raciocínio redundante e melhor uso do cache KV); reasoning_effort em três níveis (xhigh padrão) treinados de fato, com pensamento ainda desativável; e compatibilidade ampliada com harnesses populares, com benchmarks de código rodados via Claude Code - mesma lição da Z.ai: treinar o modelo dentro de um loop agêntico real.

Conclusão

O autor conclui que conhecimento bruto escala com parâmetros, mas confiabilidade de longo horizonte é propriedade do pós-treinamento - um modelo menor com bom pós-treinamento pode superar modelos maiores em tarefas específicas. Isso conecta com sua tese anterior de poda de especialistas (REAP): podar conhecimento irrelevante e direcionar via pós-treinamento. Ele vê aproximação de um "momento painel solar" para IA doméstica acessível, com a China como catalisadora, e adia para o próximo texto a análise dos novos GLM-5.3-Flash e Qwen3.7-Flash.