TPUv7 Ironwood entrega até 50% mais custo-benefício que chips da Nvidia

Ironwood entrega até 50% mais desempenho por dólar que Blackwell

A SemiAnalysis publicou os primeiros resultados de inferência de terceiros para o TPUv7 Ironwood do Google, na prévia oficial do InferenceX. Em comparações apples-to-apples de serving agregado com FP8 contra os chips B200 e B300 da Nvidia, o Ironwood entrega até 50% mais desempenho por dólar. A vantagem vale especificamente para o ponto de operação benchmarkado (interatividade de 20 tokens/s/por usuário), e não para toda a curva de latência.

Em números, com interatividade de 100 tokens/s/por usuário, o Ironwood custa cerca de US$ 0,181 por milhão de tokens, contra US$ 0,222 do B200 e US$ 0,276 do B300 - cerca de 19% e 34% mais barato, respectivamente, com a mesma velocidade de geração. No ponto de maior throughput (interatividade 20), o Ironwood também lidera em desempenho bruto, com 9.364 tokens/s/chip contra 8.903 do B200 e 8.925 do B300, e entrega 50,4% mais tokens por dólar que o B200 e 96% mais que o B300. Considerando o custo interno do Google (US$ 1,03 por chip-hora), a vantagem sobe para 76,7% sobre o B200 e 130,2% sobre o B300, embora com pioras de latência - o TTFT médio do TPU em concorrência 256 é de 5,41 segundos, contra 3,75 s do B200 e 2,40 s do B300.

Há ressalvas importantes. Em FP4, a Nvidia mantém a liderança, pois o TPUv7 não tem suporte nativo a FP4 (e o FP4 na Nvidia implica perda de qualidade em relação ao FP8); a SemiAnalysis acredita que o TPUv8i, com FP4 nativo, será competitivo com o Rubin NVL72. Em serving disagregado - caminho em que a Nvidia é mais competitiva hoje - o GB300 NVL72 ainda leva vantagem de cerca de 30% em desempenho por dólar em parte da faixa de latência, mas a expectativa é que o TPU feche esse ganho em alguns meses. O B200 também vence em alguns pontos da curva, como perto dos 30 segundos de tempo mediano de resposta.

O novo backend TorchTPU

O texto detalha a evolução do suporte a TPUs no vLLM e no SGLang. A primeira geração usava PyTorch/XLA; a atual (tpu-inference) usa TorchAX para traduzir modelos PyTorch para execução via JAX - camada de tradução que gerou muitos problemas. O novo TorchTPU, em beta privado com código aberto previsto para meados de outubro na PyTorch Conference, expõe o TPU como dispositivo PyTorch nativo (device="tpu"), permitindo reutilizar código, agendadores e batching contínuo do upstream, com XLA como compilador e kernels Pallas específicos de TPU. O modelo de bring-up inicial é o Qwen3.5 397B em FP8, com planos de estender o suporte a Kimi K3 e GLM 5.3.

Otimizações e arquitetura

O artigo enumera dezenas de otimizações de kernels e do serving stack: atenção com paralelismo de dados (DP8 + EP8), redução de comunicações (como combinar all-gathers, economizando ~80 µs por camada, e mover coletivos para o SparseCore), otimização de roteamento MoE e kernels de especialistas, kernels Gated DeltaNet (com ganhos de até 2,14× no kernel v3), gerenciamento de estado híbrido (alocação compacta que recuperou ~76 GiB de HBM, estado em BF16), prefix caching para modelos híbridos, e redução de padding em baixa concorrência. O Ironwood abandona o design MegaCore: tem dois dies de computação independentes ligados por enlace die-to-die, 2 TensorCores e 4 SparseCores por chip, cerca de 6 vezes a capacidade de HBM do Trillium e é a primeira geração com FP8 nativo. O MXU dobrou para 256x256 desde o TPU v6e. A vantagem de custo vem de co-design entre chip, rede e compilador.

Conclusão

A SemiAnalysis acredita que a externalização da inferência em TPU segue a todo vapor: a Anthropic é a maior usuária de TPUs, com mais de um milhão comprometidos. Próximos passos incluem speculative decoding, desagregação de prefill-decode, offloading de KV-cache e workloads agênticos.