Agentes de IA agravam escassez de CPUs com entregas de servidores de 6 meses

Uma nova escassez: CPUs

Depois da crise de GPUs e de memória impulsionada por empresas de IA, surge agora uma escassez de CPUs, segundo Gergely Orosz no The Pulse. Em um jantar com CTOs e líderes de infraestrutura, ficou claro que muitas empresas enfrentam dificuldade para adquirir CPUs e já se acostumaram com o fim dos grandes descontos de provedores de nuvem em um cenário de demanda disparada por IA. Um sintoma claro: o desaparecimento do preço spot de CPU - antes, era possível pagar até 90% menos que o preço padrão por máquinas ociosas; hoje, quase não há mais demanda ociosa. Reservas específicas de CPU agora precisam ser feitas com meses de antecedência, e provedores chegam a recusar reservas por falta de capacidade ou do tipo certo de chip.

Até grandes empresas disputam alocação

Simon Eskildsen, CEO da turbopuffer - produto que roda em CPUs, não em GPUs, nas nuvens AWS, GCP e Azure - relata que obter CPUs deixou de ser fácil. Segundo ele, o Reinforcement Learning (RL) consume muita CPU: para ensinar modelos a fazer coisas como buscar informações, é preciso rodar software, o que exige processamento. Além do RL, agentes fazem tarefas gerais em CPU, e a curva de demanda deslocada para agentes de uso geral faz a procura subir. Grandes empresas lutam entre si por alocações, e ele avalia que a situação piorará antes de melhorar.

Isso foi confirmado por um VP de Engenharia de um grande provedor de inferência: a empresa está no limite do que consegue comprar de GPU e CPU de seus provedores de nuvem. Tem dinheiro, aceita contratos de aluguel mais longos - e ainda assim ouve que não há mais capacidade disponível.

Por que as CPUs estão apertadas

Katelyn Lesse, Head of Platform Engineering para Claude Platform, explica que há três gargalos de capacidade fabril exacerbados pela IA: na TSMC, GPUs competem com CPUs (e com Apple, Qualcomm e Broadcom) pelas linhas de produção; na SK Hynix, Samsung e Micron, a HBM (memória de alta banda) compete com DRAM comum por wafers. As CPUs são espremidas dos dois lados: a AMD não tem fábricas próprias e depende da alocação restrita da TSMC; a Intel tem fabs, mas enfrenta problemas de rendimento e realoca capacidade de chips de PC para chips de servidor. Analistas esperam que a oferta de CPUs ganhe folga antes da memória, mas isso ainda está a vários trimestres de distância.

Agentes como motor da demanda

A demanda por agentes cresce rapidamente: um gráfico da Uber mostra aumento de nove vezes em requisições agênticas em seis meses. Essas requisições não geram apenas código pesado em inferência (GPUs), mas também executam ferramentas que compilam código, rodam testes e linters - tudo intensivo em CPU. Em empresas como Uber e Ramp, agentes já rodam em instâncias dedicadas na nuvem, não na máquina local do desenvolvedor, elevando as reservas de CPU. A proporção em data centers de IA passou de 1 CPU para 8 GPUs para cerca de 1:4, podendo chegar a 1:1.

O que fazer

Segurar a compra de servidores leva hoje cerca de seis meses, contra 1 a 2 semanas antes, com preços 10 a 20% mais altos - por isso o planejamento de capacidade com até 12 meses de antecedência virou necessário. Lesse recomenda começar agora a prever e planejar. Enquanto a nova capacidade não chega, vale revisar quais serviços são intensivos em CPU (e se precisam ser), e consolidar serviços subutilizados em menos nós. Para cargas dinâmicas que usavam instâncias spot, pode valer a pena alocar capacidade fixa, mesmo mais cara. Há relatos de regiões de nuvem que não aceitam novos clientes porque toda a CPU está alugada, e de clientes pagando hoje por capacidade que só chega aos data centers em dezembro. A única primitiva de computação sem escassez, conclui Orosz, é a rede.