Demanda por inferência empurra chips para banda de memória e decodificação

{ "resumo": "## A virada do treinamento para a inferência\n\nDesde cerca de 2020, a corrida da IA se concentrou em treinar modelos cada vez maiores: os LLMs saltaram de milhões para trilhões de parâmetros, e o GPT-3 acertava 43,9% das perguntas de um benchmark de conhecimento e raciocínio em 2020, enquanto o GPT-4o alcançou 88,7% quatro anos depois. Em 2026, porém, o centro da conversa se deslocou para a inferência - o uso de modelos treinados para gerar código, textos e imagens. O analista Matt Kimball, da Moor Insights & Strategy, resume que 'todo chefe de tecnologia quer falar é de inferência', e Jensen Huang, da Nvidia, chamou a mudança de 'ponto de inflexão da inferência' na GTC 2026.\n\nTrês fatores alimentam a demanda: os modelos se tornaram mais úteis; os modelos de raciocínio executam a inferência várias vezes por consulta, via chain of thought, gerando até 20 vezes mais texto; e a IA agêntica mantém a inferência rodando 24 horas por dia de forma autônoma. Essa explosão levou a alianças inesperadas: OpenAI e Amazon adotaram chips do tamanho de um prato da Cerebras - apesar de a Amazon ter seus próprios Trainium -, a Nvidia comprou propriedade intelectual e talentos da startup Groq em um acordo controverso de US$ 20 bilhões, e a Anthropic paga mais de US$ 1 bilhão por mês à SpaceXAI para alugar computação ociosa.\n\n## Por que inferência é diferente de treinamento\n\nTreinar um LLM exige backpropagation, que recalcula bilhões ou trilhões de parâmetros repetidamente. A inferência elimina esse custo, mas cria outros desafios: os modelos são autorregressivos, ou seja, cada novo token depende de ler todos os pesos e todo o contexto acumulado. O processo ocorre em duas fases. No prefill, o modelo processa o prompt de uma vez, calculando a atenção entre os tokens - tarefa altamente paralela, para a qual as GPUs se encaixavam naturalmente. No decode, o modelo gera a resposta token por token, consultando a cada passo a KV cache, um 'rascunho' em memória que pode crescer a dezenas de gigabytes.\n\nO gargalo do decode é largura de banda de memória: prever cada token exige ler todo o modelo, de dezenas a centenas de gigabytes de parâmetros. Pesquisas mostram que GPUs Nvidia H100 rodando LLMs de código aberto ficam ociosas 50% a 80% do tempo esperando dados. Sha Rabii, da Majestic Labs, resume o problema: soluções baseadas em GPU superprovisionam computação e ficam famintas por memória.\n\n## Estratégias de hardware concorrentes\n\nA d-Matrix ataca o gargalo empilhando o acelerador de IA diretamente sobre um die de DRAM (produto Raptor), reduzindo a distância dos dados para micrômetros em vez de milímetros. A Majestic Labs segue caminho oposto: uma interface de memória proprietária, com link de cobre e chip agregador, transmite bits a cerca de um metro - contra os 2 ou 3 milímetros do HBM - permitindo até 128 terabytes de DRAM por rack, contra cerca de 20 TB de HBM3E no rack GB300 da Nvidia. Ambas usam DRAM comum, que custa duas a três vezes menos que HBM segundo o analista Jim Handy.\n\nOs gigantes adotam abordagens de sistema. A Nvidia apresentou o Groq 3 LPU, com 500 MB de SRAM no chip e sete vezes a largura de banda de memória de uma GPU, segundo Ian Buck; os racks Rubin fazem o prefill e os 256 LPUs do sistema Groq 3 LPX fazem o decode. A AWS pareia os Trainium com o Wafer-Scale Engine 3 da Cerebras, que transforma uma wafer inteira em um chip com 4 trilhões de transistores e 44 GB de SRAM, suportando de 40 a 80 bilhões de parâmetros por chip. O WSE-3 também opera sozinho: a OpenAI o usou no GPT-5.3-Codex-Spark, gerando mais de 1.000 tokens por segundo, contra 50 a 125 do GPT-5.4 padrão.\n\n## Fazer mais com menos bits\n\nEm paralelo, pesquisadores otimizam modelos e hardware via quantização. A Nvidia criou o formato de 4 bits NVFP4; AMD, Intel e Qualcomm apoiam o MXFP4 concorrente, ao qual a Nvidia também contribuiu. Ao quantizar o DeepSeek-R1 de FP8 para NVFP4, a Nvidia afirma que as notas em sete benchmarks caíram menos de 1% e o desempenho triplicou. Startups vão além: a Tensordyne usa um sistema numérico logarítmico no chip Napier, alegando 1.300 tokens por segundo por usuário com menos de um décimo da potência de hardware Nvidia comparável; a Etched traduz a arquitetura transformer diretamente em silício (chip Sohu), alegando 500.000 tokens por segundo rodando o Llama 70B da Meta - ao custo de não rodar modelos que abandonem o transformer.\n\n## Conclusão\n\nNão está claro qual abordagem vencerá, mas os especialistas sugerem que essa pode não ser a pergunta certa: a demanda por IA segue insaciável, sem que o temor de bolha tenha freado o crescimento. Kimball compara a trajetória à do CPU, que evoluiu simultaneamente por múltiplas frentes após o fim do escalonamento de transistores - e espera que a história da inferência de IA tenha profundidade semelhante.", "hook": "As GPUs da Nvidia ficam ociosas entre 50% e 80% do tempo quando rodam LLMs de código aberto - o gargalo não é a computação, e sim a memória. Em 2026, a demanda por inferência levou a Nvidia a comprar a Groq por US$ 20 bilhões, a Amazon a parear seus chips Trainium com as wafers gigantes da Cerebras e uma leva de startups a repensar o silício de baixo para cima.", "entities": ["Nvidia", "Amazon", "Cerebras", "d-Matrix", "Majestic Labs", "Tensordyne", "Etched", "OpenAI"], "themes": ["chips-e-compute", "economia-de-tokens"], "story_key": "inferencia-empurra-hardware-para-memoria", "reasoning": { "story_key": "Tese central do artigo: a explosão da demanda por inferência desloca o design de hardware de IA para resolver o gargalo de memória e decodificação.", "themes": { "chips-e-compute": "O fato é o redesenho de aceleradores, memória (HBM, SRAM, DRAM) e racks para inferência de IA.", "economia-de-tokens": "Quantização de 4 bits (NVFP4/MXFP4), eficiência de inferência e custo de DRAM vs. HBM aparecem como bloco argumentativo próprio." }, "entities": { "Nvidia": "Compra da Groq, LPU Groq 3, formato NVFP4 e GPUs Rubin como estratégia de inferência.", "Amazon": "Pareamento de Trainium com WSE-3 da Cerebras para dividir prefill e decode.", "Cerebras": "Wafer-Scale Engine 3 com 44 GB de SRAM, usado por AWS e OpenAI.", "d-Matrix": "Raptor: acelerador empilhado sobre DRAM para reduzir distância dados-computação.", "Majestic Labs": "Interface de memória de até 1 metro e racks com 128 TB de DRAM.", "Tensordyne": "Chip Napier com sistema numérico logarítmico e alegação de eficiência energética.", "Etched": "Chip Sohu que codifica o transformer em silício.", "OpenAI": "Adota WSE-3 da Cerebras no GPT-5.3-Codex-Spark, acima de 1.000 tokens/s." }, "excluded": { "Groq": "Aparece via aquisição e arquitetura; a Nvidia é o sujeito da jogada.", "Anthropic/SpaceXAI", "SK Hynix": "Menções secundárias ou exemplos, não sujeitos centrais do fato.", "AMD/Intel/Qualcomm": "Apoiadores do MXFP4, menção secundária." } } }