Recurrent Looped Transformer une raciocínio latente e profundidade temporal
Arquitetura e raciocínio latente
O Recurrent Looped Transformer (RLT) combina um encoder causal com um decoder recorrente que carrega seu estado oculto final e o cache de atenção em janela deslizante (SWA) por camadas ao longo de cada token de prompt e resposta. O encoder constrói memória global de chave–valor; o decoder estende uma computação latente contínua conforme a sequência cresce. A proposta reúne raciocínio latente com profundidade temporal não limitada, co-desenho modelo–hardware e co-desenho modelo–algoritmo de RL. O relatório ressalva que "profundidade infinita" designa um caminho temporal extensível, não trabalho infinito dentro de um token. Ganhos de raciocínio realizados, eficiência de hardware e escala de RL ainda precisam ser estabelecidos.
Três princípios de projeto
Primeiro, a profundidade cresce com a sequência: cada token estende o caminho recorrente por todo o decoder. Após t tokens, o caminho atravessa tL_D blocos de decoder, enquanto o número de blocos por token permanece fixo. Segundo, o trabalho paralelo ocorre em torno de um núcleo recorrente: agrupar em lote o trabalho do encoder sobre tokens conhecidos e atualizações independentes do decoder; reutilizar pesos e memória; e fazer checkpoint de ativações preservando a computação de referência. Terceiro, no RL há uma transição da amostragem para o replay: reconstruir o histórico completo sob os parâmetros atuais, incluindo estados de prompt e KV SWA do decoder, e manter as probabilidades de comportamento registradas ligadas ao amostrador real.
Estado completo e execução
O estado completo importa. O encoder causal oferece paralelismo de tokens conhecidos e memória KV global; o decoder recorrente usa atenção cruzada do encoder e SWA local. A saída recorrente e o KV SWA do decoder são carregados adiante; a saída anterior entra no próximo merge, e cada camada SWA lê suas próprias chaves e valores recentes. Prompt e resposta compartilham uma única transição de estado. A memória do encoder é restrita ao prefixo, e a atenção do decoder respeita a janela local. Nenhum componente do estado do decoder é reiniciado na fronteira de serving. A configuração concreta usa 48 camadas de encoder e 48 de decoder, com pesos compatíveis de atenção e FFN compartilhados entre estágios. Após t tokens, o caminho temporal percorre 48t blocos de decoder. Cada token executa 96 blocos lógicos; a atenção cruzada do decoder faz com que esses blocos não tenham todos FLOPs iguais.
Treino, inferência e RL
Uma execução acompanha treino e inferência. Tokens conhecidos podem ser codificados em lote causal. Atualizações do decoder ainda seguem a ordem dos tokens, construindo saídas recorrentes e caches SWA. O relatório lista rotinas de execução: o prefill de prompt usa lote causal no encoder e atualiza o estado completo por cada token de prompt; a geração é incremental, amostrando do estado anterior e consumindo cada token exatamente uma vez; o pré-treinamento usa lote causal e BPTT completo sobre todos os alvos válidos de próximo token; o SFT usa lote causal, perda no alvo do assistente e todos os tokens de contexto atualizam estado diferenciável; e o replay de RL reconstrói com pesos atuais, reproduz o histórico completo e os caches SWA, pontuando cada ação antes de consumi-la. Consistência forward e gradientes completos são requisitos separados. O BPTT completo inclui caminhos por saídas recorrentes, KV do decoder e memória do encoder; destacar qualquer um altera o gradiente. Atualizações de parâmetros invalidam caches antigos para replay exato com a política atual. Log-probabilidades de comportamento devem descrever a distribuição de amostragem real; importância exata também exige cobertura de suporte. Transições compartilhadas removem incompatibilidade estrutural na fronteira do prompt, enquanto paridade numérica de kernels e estimação off-policy permanecem questões separadas.