Arquiteturas de chips de IA adotam estratégias cada vez mais diferentes
A disputa pelo movimento de dados
O fim do crescimento histórico de desempenho de CPUs e da Lei de Moore impulsionou arquiteturas específicas para cargas de trabalho, especialmente para IA. O problema central não é apenas executar multiplicações de matrizes, operação dominante em transformers, mas mover dados entre memória, unidades de cálculo e chips com rapidez e eficiência suficientes para evitar a chamada “parede da memória”.
Treinamento e a etapa de prefill da inferência processam muitos tokens simultaneamente e formam grandes multiplicações matriz-matriz, com alta intensidade aritmética. Já o decode produz um token por vez, transformando a operação em multiplicações matriz-vetor e reduzindo drasticamente a intensidade de cálculo. Batching contínuo, decodificação especulativa e previsão de múltiplos tokens recuperam parte dessa utilização, mas sequências longas podem transferir o gargalo da largura de banda dos pesos para a leitura do KV Cache.
A estratégia da NVIDIA
A GPU da NVIDIA aposta em um processador altamente programável, com milhares de threads, coordenado por uma CPU hospedeira e exposto pelo CUDA. Streaming Multiprocessors, Tensor Cores e uma hierarquia profunda de memória permitem executar IA, gráficos e simulações científicas no mesmo modelo de programação. Ao longo das gerações, a empresa ampliou os Tensor Cores, reduziu a precisão numérica de FP16 para FP8 e FP4, introduziu mecanismos de escala e acrescentou memória compartilhada, TMA e TMEM.
A evolução mais importante descrita é a desacoplagem entre as threads e a multiplicação de matrizes. Instruções que antes exigiam um warp inteiro passaram a ser assíncronas, baseadas em descritores e capazes de deixar o cálculo em andamento enquanto outras threads carregam dados, executam operações como softmax ou preparam o próximo bloco. TMA, barreiras de memória e especialização de warps formam um pipeline produtor-consumidor usado por kernels modernos de atenção.
A NVIDIA combina memória coerente entre GPUs no scale-up, por meio de NVLink e NVSwitch, com redes explícitas e não coerentes no scale-out, usando InfiniBand ou Ethernet, RDMA e bibliotecas de coletivas. A principal vantagem competitiva, segundo o texto, não é apenas o hardware, mas a continuidade do CUDA, o ecossistema de bibliotecas e kernels, ferramentas como CUTLASS e TensorRT-LLM e a experiência acumulada por desenvolvedores e engenheiros incorporados a laboratórios e empresas.
A estratégia do Google
O TPU segue uma filosofia oposta: é uma máquina de multiplicação de matrizes baseada em arrays sistólicos, com o compilador XLA planejando instruções e movimentação de dados. Não há caches, warps, escalonamento dinâmico, execução fora de ordem ou especulação. A memória é organizada em áreas de trabalho gerenciadas por software, e o compilador agenda transferências entre HBM, VMEM e CMEM para que os dados cheguem antes do uso.
O MXU mantém pesos nas células, enquanto ativações atravessam o array e somas parciais fluem para acumuladores. Isso reduz acessos à memória, mas cria desperdício quando as dimensões não preenchem o array; por isso, o XLA precisa dividir e preencher matrizes conforme os tamanhos da arquitetura. O VPU executa operações elementares em paralelo ao MXU, enquanto SparseCore e, em gerações específicas, CAE tratam embeddings, coletivas e outros padrões inadequados ao array denso.
No scale-up, TPUs usam ICI e topologias em torus, com coletivas explícitas compiladas pelo XLA, em vez de uma memória remota coerente. O scale-out conecta pods por redes do datacenter e sistemas como Pathways. Assim, NVIDIA e Google perseguem o mesmo objetivo por meios diferentes: a primeira preserva flexibilidade e esconde latências com hardware e threads; a segunda elimina custos gerais e busca eficiência por especialização e planejamento estático. A fonte apresenta essa divergência como o núcleo da atual variedade de arquiteturas de chips para IA.