Test-time training permite que modelos se adaptem durante o uso

O que muda com o treinamento durante o uso

Modelos convencionais permanecem congelados depois do fim do treinamento: mesmo que uma pessoa os use diariamente, suas respostas não mudam por causa desse histórico. O test-time training (TTT) propõe que o modelo continue aprendendo enquanto responde. Em vez de apenas consultar uma memória ou recalcular uma rota para cada pergunta, ele dá um passo de gradiente sobre o próprio prompt e altera seus pesos, modificando a forma como utiliza as informações para responder melhor àquela pessoa.

A analogia apresentada é a de um GPS que aprende um desvio permanente para escapar do trânsito diário em um trecho da Highway 101, em vez de fazer apenas um redirecionamento pontual. No modelo, essa adaptação incorpora o histórico da interação aos pesos. Com isso, a memória necessária pode deixar de crescer proporcionalmente ao tamanho do contexto.

Memória, custo e velocidade

Transformers tradicionais mantêm um KV-cache, registro contínuo dos tokens anteriores. Como cada novo token acrescenta informação a esse registro, o uso de memória cresce linearmente com o contexto. O TTT pode condensar o histórico em um conjunto fixo de pesos, mantendo a memória estável mesmo quando a conversa se prolonga.

Essa vantagem desloca o problema para o custo de servir os modelos. Depois que um modelo se adapta ao prompt de uma pessoa, seus pesos já não são iguais aos do modelo que respondeu a outra. Em vez de um único checkpoint compartilhado por milhões de usuários, o provedor teria de lidar com milhões de versões ligeiramente diferentes, moldadas pelo uso individual. Segundo o texto, isso implica manter uma cópia do modelo em execução por usuário, exigindo mais computação e chips para atender ao mesmo número de pessoas.

O TTT também pode acelerar a inferência. Pesquisas de Stanford com modelos pequenos indicam ganhos de até 2,7 vezes, porque a latência do modelo treinado durante o uso permanece constante, independentemente do tamanho do contexto, enquanto a de um transformer convencional não permanece. O texto cita ainda o In-Place TTT, apresentado como uma alternativa que pode ser incorporada diretamente: um modelo de 4 bilhões de parâmetros alcançaria desempenho competitivo em contextos de 128 mil tokens sem novo treinamento.

Uma escolha entre contexto e escala

A conclusão é que as duas abordagens impõem limites diferentes. A IA convencional é limitada pela memória; a IA com treinamento durante o uso, pelo volume de computação e pela disponibilidade de chips. Assim, o provedor precisaria escolher a estratégia conforme o objetivo: atender contextos muito longos ou servir muitas pessoas com eficiência.

O custo adicional só se justificaria quando a personalização gerasse valor suficiente. Um agente de programação que aprendesse as convenções de uma base de código e seus bugs persistentes poderia recuperar o custo por usuário ao longo de uma sessão extensa, além de criar alguma forma de retenção baseada nessa memória. Já uma pergunta isolada de atendimento ao cliente provavelmente seria respondida tão bem por um modelo compartilhado, congelado e eventualmente ajustado, com custo muito menor para o provedor.

O texto prevê que o test-time training será um tema importante até o fim de 2026 e depois, com potencial para alterar a economia atual da IA.