LLMs modernos escondem mini-GPTs que preveem outras IAs

A hipótese

Em uma série de posts no LessWrong, surgiu a hipótese de que, como a internet está cheia de texto gerado por LLMs, modelos modernos podem ter desenvolvido internamente pequenos modelos de outros LLMs, o que ajudaria a prever tokens gerados por máquinas em vez de humanos. O autor, Paras Chopra, decidiu testar essa ideia com um estudo exploratório.

O experimento

O autor usou dois modelos: GPT2-medium e o modelo base Qwen3 de 4 bilhões de parâmetros. O desenho foi:

• Coletou 12 manchetes reais de 18 de setembro de 2026, para garantir que nenhuma delas estivesse dentro do período de treinamento dos dois modelos e evitar respostas memorizadas.
• Pediu ao GPT2 para gerar 96, 256 ou 512 tokens a partir da manchete.
• Depois, em condições separadas, GPT2 e Qwen completaram esse prefixo com 32, 64 ou 128 tokens.
• Também gerou a continuação natural do Qwen a partir da manchete, sem texto do GPT2.
• Mediu com quem a continuação do Qwen ao prefixo do GPT2 se parecia mais: com a continuação oculta do próprio GPT2 ou com a continuação natural do próprio Qwen, alinhada por posição.

Resultados

Através de diferentes métricas de sobreposição, o texto do Qwen ao completar o GPT2 se sobrepôs mais à continuação oculta do GPT2 do que à continuação natural do próprio Qwen.

O autor fez uma segunda sonda: adicionou "Year: 20" ao final dos textos completos e pediu que o Qwen completasse o ano. A hipótese era que o Qwen inferiria um ano anterior para texto do GPT2 (lançado em 2019, com corpus anterior a isso) do que para o próprio texto. Foi o que aconteceu.

Havia um possível fator de confusão: o texto do GPT2 poderia conter referências explícitas a anos, que o Qwen apenas repetiria. Em uma verificação posterior removendo gerações com anos específicos, o resultado se manteve. O experimento também foi repetido no Qwen Base 14B, com os mesmos resultados. Um teste com um modelo ajustado por instruções (GPT-Terra) não funcionou, porque modelos pós-treinados são treinados para seguir instruções e não fazem bem completão de texto.

Implicações e ressalvas

O autor enfatiza que isso não é prova definitiva de que LLMs modernos contêm modelos de outros LLMs - o estudo é altamente exploratório. Mas, se os resultados se confirmarem, as implicações seriam significativas: modelos poderiam simular proxies de seus próprios comportamentos antes de agir, estimar melhor incertezas amostrando modelos internos no espaço latente e, no extremo, desenvolver um tipo de auto-modelo semelhante ao que humanos têm de si mesmos. Ele também nota que testou um modelo de apenas 4B de parâmetros; modelos muito maiores provavelmente teriam representações melhores de modelos anteriores. O autor incentiva a replicação do experimento.