Estudo mede quanto raciocínio um modelo esconde fora da cadeia de pensamento
Uma medida para raciocínio não verbalizado
Pesquisadores da Redwood Research propõem operacionalizar a “profundidade serial opaca”, proxy para a quantidade de cognição serial não verbalizada que um modelo pode realizar. O ponto de partida é a cadeia de pensamento (CoT), hoje ferramenta valiosa para supervisionar modelos; algumas mudanças arquiteturais poderiam reduzir sua monitorabilidade. A proposta se baseia em Brown-Cohen et al. (2026), do GDM, que medem o caminho mais longo no grafo computacional sem passar por um “gargalo interpretável”. Se tokens de CoT contam como interpretáveis e estados ocultos de transformer como não interpretáveis, a profundidade serial opaca de um transformer padrão é proporcional ao número de camadas.
Nós enraizados em linguagem natural
A principal contribuição é definir o que conta como gargalo interpretável: nós “enraizados em linguagem natural” (NL-rooted). Exige-se inicialização por pré-treinamento para produzir saídas em linguagem natural - definição permissiva, que inclui código, JSON e patches de imagem e permite destilação de modelos com CoTs embaralhadas. Também se exige que não haja expansão do espaço de saída, o que exclui COCONUT, CoT abstrata, transformers de banda larga e superposições de tokens; e que o modelo não seja modificado para interpretar os tokens como outro tipo de dado. Formas normais de pós-treinamento, como prompting, destilação e RL, podem ser usadas sem impedir que os nós sejam NL-rooted, mesmo que a CoT se torne ilegível. Os tokens também não devem ser tratados como estados intermediários contínuos por onde haja retropropagação.
Definição de NLS depth
A medida é chamada de profundidade separada por nós enraizados em linguagem natural (NLS depth). Uma computação tem NLS depth no máximo D se sua função pode ser representada por um circuito admissível em que todo caminho opaco tem comprimento no máximo D. Circuito admissível usa portas arbitrárias de dois valores de 32 bits para um de 32 bits, com no máximo 10^26 portas. Caminho opaco é o caminho sem nó marcado como gargalo interpretável. “Pode ser representada” permite diferenças imateriais, como arredondamento, mas não um modelo mais raso que apenas iguale benchmarks. A medida se aplica a sistemas de IA: um LLM em um contexto, um agente com compactação, memórias, TTT ou enxame de agentes; não ao processo inteiro de treinamento nem a humanos ou computadores que interagem via ferramentas. Para modelos que raciocinam em CoT, a NLS depth de uma inferência é a mesma de um forward pass no contexto máximo; para raciocínio latente, é o número de passos latentes vezes a profundidade de um forward pass; para transformers com loop, a profundidade da iteração vezes o número de loops. Memórias opacas e enxames dependem da cadeia opaca mais longa.
O que a medida separa
A NLS depth é apresentada como complemento, não substituto, de medidas de monitorabilidade ou de capacidades sem CoT. É nítida, fácil de quantificar e pode ser julgada antes do treinamento, embora seja proxy imperfeito e insensível a algumas escolhas de pós-treinamento. Transformers históricos têm profundidade baixa; nenhum modelo open-source de CoT teria NLS depth acima de 17.000. Arquiteturas de raciocínio latente aumentariam rapidamente a profundidade. Mamba e DeltaNets aumentam moderadamente; Kimi-K3, com Gated DeltaNets, tem profundidade por camada significativamente maior; DeepSeek-V4-Pro aparece com profundidade alta, mas eles atribuem isso a uma falha da definição. Difusão discreta com gargalo só de tokens não aumenta muito; difusão contínua ou latente aumenta. Recorrência com tokens suaves como COCONUT, CoT abstrata, superposição, bancos de memória opacos, composição com autoencoders de linguagem natural e Test-Time Training aumentariam substancialmente. O texto pondera que TTT é menos preocupante que COCONUT, mas esquemas meta-aprendidos poderiam se aproximar de recorrência opaca limitada; TTT dinâmico durante inferência ou RL explodiria a medida. A NLS depth não captura a troca de comunicação em linguagem natural por comunicação em estado opaco entre modelos recorrentes. O texto menciona que o modelo Astra, da OpenAI, tem monitorabilidade de CoT substancialmente menor que modelos anteriores; a causa é incerta, mas evidências públicas seriam compatíveis com mudanças arquiteturais que aumentam a profundidade. Conclui que vale que empresas acompanhem e sejam transparentes sobre a NLS depth.