Modelos contrastivos de linguagem prometem latência até 9x menor

O que é o CLM

Pesquisadores de Stanford e da NVIDIA Research apresentaram os Contrastive Language Models (CLMs), uma nova classe de modelo do tipo "Sistema Um" para tomada de decisão rápida, treinada com um objetivo contrastivo que conecta estados e ações. Os autores lançam o CLM-8B, pré-treinado em 60 milhões de pares de perguntas e respostas do Nemotron DQA, com treinamento intermediário em 30 milhões de negativos difíceis sintéticos e pós-treinamento em 1 milhão de trajetórias agentic.

Como funciona

O CLM treina um codificador de estados e um codificador de ações com a perda InfoNCE bidirecional: cada estado é aproximado da ação correta e afastado das demais. Na implantação, o modelo pontua cada ação candidata pela similaridade de cosseno entre os embeddings de estado e ação e escolhe a melhor.

Cada codificador usa um backbone LLM congelado seguido de uma cabeça de projeção treinável de 20 milhões de parâmetros. Como o LLM nunca recebe gradientes, os embeddings podem ser pré-computados e reutilizados, tornando os experimentos baratos: o pré-treinamento completo no Nemotron DQA leva cerca de uma hora em uma única RTX 4090.

A principal vantagem de eficiência vem da desagregação de estados e ações: como os embeddings podem ser armazenados em cache separadamente, em cenários como Super Mario, em que o conjunto de ações é fixo, basta recomputar o embedding do estado a cada passo, reduzindo de cinco para uma as passagens por passo. Com cerca de 1.000 ações candidatas, o CLM chega a ser 13 vezes mais rápido que Jev.

Desempenho

Em tarefas de computer-use, jogos e chamadas de ferramentas, o CLM-8B tem desempenho comparável ao Jev com latência até 9 vezes menor, com ganhos maiores quando há muitas ações candidatas (WikiRacing) ou reutilização frequente de ações (T-Rex Game).

Como verificador, o contraste é maior: os autores observam que o Jev falha como verificador em tarefas de longo horizonte, ficando abaixo do baseline de seleção aleatória (Pass@1). Com ajuste fino leve, o CLM alcança novo estado da arte em benchmarks agentic de código, com 81,6% no DeepSWE (38 tarefas reservadas) e 87,6% no Terminal-Bench 2.1 (30 tarefas reservadas), com inferência 4 a 6 vezes mais rápida que o Jev. Para cada tarefa, amostram-se soluções candidatas com Opus 5 (DeepSWE) e Fable 5 (Terminal-Bench 2.1), e latência medida em GPU H100.

Receita de dados e leis de escalonamento

O treinamento tem três estágios: pré-treinamento em dados de internet para representações semânticas amplas; treinamento intermediário com 30 milhões de negativos difíceis gerados pelo Gemini 2.5 Flash-Lite; e pós-treinamento com trajetórias do Agent Data Protocol (ADP) e traços de terminais.

Dois achados de receita: no pós-treinamento, co-treinamento com repetição de dados (40% Nemotron DQA, 60% agentic) mitiga esquecimento catastrófico - a precisão em negativos difíceis cai apenas de 69% para 68,5%, contra 56,2% sem repetição. E os negativos difíceis funcionam melhor como refinamento após o pré-treinamento: a receita em dois estágios alcança 69,2% de precisão top-1, contra 62,4% (com sobreajuste) ao treiná-los desde o início - 7 pontos percentuais a mais com orçamento fixo.

A perda InfoNCE de teste segue uma lei de potência em compute de treino, tamanho do conjunto de dados, tamanho da cabeça de projeção e tamanho do codificador, que devem ser escalados em conjunto. Escalar o codificador produz os maiores ganhos. O tamanho ótimo da cabeça cresce quase linearmente com os tokens de treino (N* ∝ D^1.02), a cerca de 310 tokens por parâmetro.

Próximos passos

Os autores planejam estender os experimentos de escalonamento a backbones maiores, adicionar suporte a visão e multimodalidade e expandir a receita de dados. Um CLM-35B multimodal está em treinamento, com lançamento previsto para o início do mês seguinte. Um variant robótico, o CoVer-VLA, já havia sido divulgado. O código e um playground estão disponíveis no GitHub.