Taalas e Groq gravam modelos em silício e chamam atenção da Nvidia e AMD

Duas apostas sobre o que congelar em silício

A Taalas, empresa de Toronto, gravou os pesos do Llama 3.1 8B diretamente em silício durante a fabricação - não apenas carregou, mas gravou como transistores físicos em mask-ROM. A Groq atacou o mesmo problema mantendo os pesos em SRAM on-chip, regraváveis via recompilação. Ambas eliminam a HBM (memória de alta largura de banda), que é o componente mais caro de um servidor de IA e o gargalo real da inferência: GPUs gastam mais energia movendo pesos do que fazendo contas.

Números da Taalas (não verificados independentemente)

• 16.960 tokens/segundo por usuário no Llama 3.1 8B, contra ~230 numa H200.
• 0,015 J/token, contra 1-3 da Groq e 10-30 de sistemas H100.
• $0,0075 por milhão de tokens, contra $0,20-0,50 típico.
• 815 mm² em TSMC N6, 53 bilhões de transistores, ~250 W por placa.

O chip não é totalmente fixo: além da mask-ROM com os pesos congelados, há uma região de SRAM que armazena KV cache e adaptadores LoRA, que podem ser trocados em runtime para adaptar o modelo a domínios (jurídico, clínico etc.) sem novo silício. O tempo estimado de novo modelo a placas prontas é de ~2 meses, mas a Taalas já havia atrasado seu cronograma em um ano.

A abordagem da Groq

A LPU (Language Processing Unit) mantém pesos em SRAM on-chip (230 MB por chip na primeira geração), com um compilador que pré-planeja toda movimentação de dados. Qualquer modelo pode rodar - basta recompilar e recarregar, em minutos. O custo é capacidade: um modelo de 70B exige 576 chips interconectados. O LP30 melhora para ~500 MB por chip, mas ainda são centenas de chips por rack.

As aquisições bilionárias

Em dezembro, a Nvidia licenciou a arquitetura da Groq por $20 bilhões. Em julho seguinte, a AMD concordou em adquirir a Taalas. Ambos os compradores descreveram o mesmo design de sistema: GPU cuida da leitura do input (fase paralela), chip especializado cuida da geração token a token.

Onde a analogia com Bitcoin quebra

ASICs de mineração funcionaram porque SHA-256 é um padrão imutável. Codecs de vídeo seguiram o mesmo caminho. LLMs, porém, ainda estão em evolução rápida - cada release muda os pesos, que são exatamente o que foi gravado em metal.

O azarão: modelos de difusão

Modelos de difusão (como Gemini Diffusion e Mercury da Inception) geram blocos inteiros de tokens de uma vez, em vez de um por um. Isso reduz o gargalo sequencial que Taalas e Groq foram construídas para eliminar - e o hardware que mais se beneficia é justamente a GPU. Nenhum dos compradores (Nvidia ou AMD) comprou proteção contra esse cenário.

Onde a gravação em silício faz sentido

Funções genuinamente estáveis: reconhecimento de fala, tradução, OCR, embeddings, moderação de conteúdo. São modelos pequenos, dedicados, com volumes que pagam o custo das máscaras e que quase não mudam. A Taalas saiu com 24 pessoas e $30 milhões - não é algo reservado a quem possui datacenters.