GLM-5.3 constrói a própria infraestrutura de inferência em aceleradores chineses

{ "resumo": "## O modelo que construiu a própria infraestrutura\n\nEm um relato publicado em 17 de setembro de 2026, a equipe do GLM descreve como um agente de infraestrutura movido pelo GLM-5.3 realizou a maior parte do trabalho de construir, do zero, o serviço de inferência de produção do GLM-5.3-Flash em um cluster de mais de 100.000 aceleradores de IA fabricados na China - algo que ninguém havia feito nessa escala. Restrições de memória e banda dos chips, ecossistema imaturo e suporte incompleto de kernels dificultaram o trabalho, além da necessidade de suportar uma nova arquitetura, contexto de 1 milhão de tokens e requisições multimodais. O trabalho antes levaria semanas a uma equipe experiente de engenheiros de infraestrutura; com o agente, o sistema saiu da adaptação inicial à prontidão de produção em menos de duas semanas.\n\nO GLM-5.3-Flash foi testado nos serviços OpenCode e OpenRouter sob o nome anônimo Ox-Alpha e, em uma semana, tornou-se o modelo mais usado nas duas plataformas, processando mais de 62 trilhões de tokens em seis dias.\n\n## Otimizações de memória e desempenho\n\nA pilha combinou paralelismo tensorial intra-nó para atenção linear e LM Head, ReplaySSM, quantização W8A8, cache em precisão mista (INT8/FP8/BF16) e Layer Split, além de uma arquitetura desagregada Encode-Prefill-Decode (EPD). Juntas, essas técnicas elevaram o desempenho de serving em cerca de 3×, com eficiência de utilização de hardware e custo por token comparáveis às GPUs NVIDIA mainstream.\n\n## Feedback denso: o problema central\n\nA lição central do relato é que a eficácia do agente dependeu menos da capacidade de gerar código e mais da qualidade do feedback recebido. Métricas de ponta a ponta - como "TTFT aumentou 30%" - dizem que algo piorou, mas não explicam por quê nem em qual camada. A equipe então organizou testes de correção, logs, traces de execução, microbenchmarks e métricas em fluxos de trabalho acessíveis ao agente, sob o princípio de "feedback denso", com três características: local (vinculado a kernels, mudanças e condições de entrada específicos), barato e rápido de obter (validação local em vez de deploy completo a cada hipótese) e verificável objetivamente (experimentos controlados, não apenas correlações).\n\n## Três casos concretos\n\nCorreção numérica: um mapeamento de estratégias de paralelismo para kernels permitiu comparar caminhos particionados e não particionados. Isso revelou um erro de precisão no caminho de Context Parallelism do kernel KDA: o tl.dot usava TF32 mesmo com entradas FP32, acumulando erros em contextos longos. A correção definiu input_precision=\"tf32x3\", e o ajuste foi incorporado ao projeto Flash Linear Attention (PR #1180).\n\nComportamento do sistema: com cenários de teste definidos por engenheiros (Prefill isolado, Prefill + KV Transfer, Decode), o agente encontrou gaps acima de 20%, quando o limite era 5%. A análise do timeline mostrou que o KV Transfer nunca se sobrepunha às chamadas DeepEP. A causa: na versão 1.2.1 do DeepEP, intranode_dispatch e intranode_combine não liberavam o GIL do Python, bloqueando o thread de Mooncake Transfer. Após liberar o GIL nesses trechos, o gap caiu para menos de 1%. O próprio código já trazia evidência: internode_dispatch liberava o GIL explicitamente, com comentário explicando o motivo.\n\nOtimização de kernel: o agente extraiu técnicas de kernels escritos à mão em projetos como SGLang, Flash Linear Attention e DeepGEMM, destilando-as em "esqueletos de otimização" com condições de aplicabilidade e evidências de validação. No kernel KDA Decode, a introdução do ReplaySSM aumentou o tempo de execução; otimizações de divisão reduziram 9,6%, e a fusão de tiles que repetiam computações de normalização e gating em FP32 trouxe um ganho de 1,71× sobre a versão anterior.\n\n## Conclusão: RSI ainda não chegou\n\nOs autores descrevem o ciclo como "o modelo otimiza o sistema; o sistema roda o modelo", um estágio inicial do que chamam de Recursive Self-Improvement (RSI) - e afirmam que, com tempo e compute suficientes, o ponto final do caminho atual seria um sistema capaz de projetar e treinar seu próprio sucessor de forma autônoma. Eles ponderam, porém, que a RSI ainda não foi alcançada: definir objetivos, estabelecer limites e avaliar riscos seguem sendo responsabilidades humanas, e a equipe acredita que essa linha deve ser mantida por muito tempo. Mesmo assim, avaliam que o progresso nessa fronteira - duas semanas, 3× de throughput, 100.000 aceleradores - não vai se desacelerar apenas porque se queira.", "hook": "A Z.ai diz que um agente movido pelo GLM-5.3 fez a maior parte do trabalho de construir do zero o serviço de inferência do GLM-5.3-Flash em um cluster de mais de 100.000 aceleradores chineses, em menos de duas semanas, com 3× de throughput. O modelo mais usado no OpenCode e OpenRouter - mais de 62 trilhões de tokens em seis dias - foi otimizado, em boa parte, por si mesmo.", "entities": ["Z.ai", "GLM-5.3", "GLM-5.3-Flash", "OpenCode", "OpenRouter", "DeepEP", "Flash Linear Attention"], "themes": ["lancamento-de-modelos", "engenharia-com-ia", "chips-e-compute"], "story_key": "glm-agente-infra-inferencia-chinesa", "reasoning": { "story_key": "Fato canônico: Infra Agent movido por GLM-5.3 constrói a infraestrutura de inferência do próprio modelo em aceleradores chineses.", "themes": { "lancamento-de-modelos": "Lançamento do GLM-5.3-Flash e seu serviço de inferência em produção é o gancho central.", "engenharia-com-ia": "Assunto central é o agente de infraestrutura (Infra Agent) executando engenharia de sistemas: o fluxo agentic é o tema.", "chips-e-compute": "Deploy em cluster de +100.000 aceleradores chineses, com restrições de memória e banda, é parte estrutural do fato." }, "entities": { "Z.ai": "Organização que criou o modelo e publicou o relato.", "GLM-5.3": "Modelo que powering o Infra Agent, sujeito do fato.", "GLM-5.3-Flash": "Modelo cuja inferência em produção é o objeto construído e lançado.", "OpenCode": "Plataforma de teste real onde o modelo se tornou o mais usado.", "OpenRouter": "Plataforma de teste real onde o modelo se tornou o mais usado.", "DeepEP": "Biblioteca cujo bug de GIL causou o gargalo de KV Transfer.", "Flash Linear Attention": "Projeto que recebeu o fix de precisão numérica upstream (PR #1180)." }, "excluded": { "SGLang": "Menção secundária como fonte de técnicas de otimização.", "DeepGEMM": "Menção secundária como fonte de técnicas de otimização.", "Mooncake Transfer": "Componente interno mencionado no caso de GIL, não sujeito principal do fato.", "NVIDIA": "Apenas referência comparativa de desempenho.", "Ox-Alpha": "Nome anônimo de teste, não sujeito." } } }