Taalas e Groq apostam em caminhos opostos para hardware de inferência

Duas startups de hardware de inferência, Taalas e Groq, apostam em caminhos opostos para resolver o mesmo gargalo: o “memory wall”. Em GPUs, boa parte da energia não vai para o cálculo, mas para mover os pesos do modelo da memória HBM até as unidades de compute, repetidamente, a cada token gerado. A Taalas grava os pesos diretamente no silício, em uma estrutura mask-ROM onde cada transistor armazena bits e executa a multiplicação correspondente. Já a Groq mantém os pesos em SRAM no chip, carregáveis via recompilação, sem HBM.

A aposta da Taalas: modelo fixo no silício

A Taalas produziu um chip com o Llama 3.1 8B “gravado” fisicamente. Os números divulgados pela empresa, sem verificação independente, incluem 16.960 tokens por segundo por usuário, contra cerca de 230 em uma H200; 0,015 joule por token; e custo de US$ 0,0075 por milhão de tokens, frente a US$ 0,20–0,50 típicos. O chip usa processo TSMC N6, tem 815 mm², 53 bilhões de transistores e consumo de cerca de 250 W por placa, com o modelo inteiro de 8B em um único die.

Apesar da ideia de “modelo gravado”, o chip não é totalmente imutável: além da área mask-ROM, há SRAM reescrevível para KV cache e adaptadores LoRA, que podem ser trocados em tempo de execução para ajustar o modelo a domínios como jurídico ou médico. A empresa afirma levar cerca de dois meses entre novos pesos e produção de placas, reutilizando a maior parte das camadas do chip e alterando só algumas máscaras. Estimativas citadas no texto apontam algo como US$ 3 milhões por variante para um modelo classe DeepSeek-R1, com cerca de um ano para pagar o investimento. O limite é claro: adaptadores mudam o “sotaque”, não capacidades ausentes do modelo base; mudar arquitetura, tokenizer ou versão exige novo silício.

A aposta da Groq: pesos carregáveis

A Groq ataca o mesmo problema de forma diferente. Seu LPU também elimina HBM, mas guarda pesos em SRAM no chip, posicionados por um compilador que planeja instruções e movimentação de dados antecipadamente. Qualquer modelo pode rodar nele; trocar o modelo leva minutos, com recompilação e recarga. O custo é capacidade: a primeira geração tem 230 MB de SRAM por chip, insuficiente até para um modelo 7B em 8-bit; um modelo 70B exigiria 576 chips. O LP30 melhora a proporção para cerca de 500 MB por chip, mas ainda exige dezenas ou centenas de chips para modelos grandes.

Nvidia e AMD compram as duas teses

A Nvidia licenciou a arquitetura da Groq por US$ 20 bilhões em dezembro; a AMD concordou em adquirir a Taalas pouco mais de sete meses depois. O ponto mais relevante é que ambas descreveram o mesmo desenho de sistema: GPUs cuidariam da fase de leitura do prompt, paralela, enquanto os chips especializados ficariam com a geração token a token. São filosofias opostas sobre o que congelar - pesos ou arquitetura - mas com divisão de trabalho idêntica.

O risco: LLMs não são workloads “finalizados”

O texto compara com mineração de Bitcoin e codecs de vídeo, que viraram ASICs só depois que o padrão ficou estável. LLMs, porém, continuam mudando rápido: versões novas, pós-treinamento, tokenizer e ajustes de pesos podem invalidar um chip desenhado para um modelo específico. Além disso, muitos cenários reais exigem flexibilidade e múltiplos modelos, não apenas geração de texto ultrarrápida.

O “dark horse”: modelos de difusão

A maior ameaça às duas apostas pode ser a mudança no próprio paradigma de geração. Modelos de difusão, como Gemini Diffusion e Inception Mercury, geram blocos inteiros de tokens em paralelo, não palavra por palavra. Isso reduz o gargalo sequencial que Taalas e Groq foram construídas para eliminar. Em GPUs, o cálculo extra tende a ser barato porque as unidades ficam ociosas esperando memória. A Taalas teria mais dificuldade, pois seu compute é fisicamente ligado a cada peso gravado; a Groq poderia recompilar, mas ganharia menos. A difusão ainda perde em qualidade para modelos estabelecidos em benchmarks citados, mas não precisaria vencer - bastaria reduzir o gargalo sequencial.

Onde o hardwiring faz sentido

A aposta da Taalas tende a ser mais forte em funções estreitas e estáveis: reconhecimento de fala, tradução, OCR, embeddings, moderação de conteúdo. São tarefas maduras, de alto volume e pouca mudança. O texto conclui que gravar modelos no silício é uma aposta sobre quanto tempo eles permanecem úteis. Para LLMs gerais em 2026, é arriscado; para modelos pequenos e especializados, pode ser o caminho mais eficiente.