Pesquisadores descobrem datas de treino de modelos com sondagens

Como estimar datas e misturas de treino só com sondagens

O autor investiga dá para inferir detalhes ocultos do treinamento de modelos de fronteira usando apenas requisições via API, sem acesso a dados internos. Ele descreve três abordagens: aplicar “probes de conhecimento incompressível” para estimar parâmetros, medir tokenização para inferir misturas de dados e usar perguntas sobre datas ou identidade para estimar cronogramas de pré-treino. Ele ressalta que tudo são estimativas, já que há pouca verdade pública para validação.

Três estágios do treinamento

O texto resume o treinamento moderno em três etapas: pré-treino com grande volume de dados gerais, refinamento com dados de alta qualidade para estender capacidades e pós-treino para transformar o modelo em assistente, com personalidade, raciocínio e uso de ferramentas. O checkpoint de pré-treino é descrito como uma etapa cara e demorada, enquanto melhorias de pós-treino costumam aparecer em versões menores ou em modelos derivados por destilação.

Cortes de conhecimento por fatos históricos

Para estimar quando termina o conhecimento de cada modelo, o autor criou quizzes de múltipla escolha com fatos diários da Wikipédia e mediu a taxa de erro ao longo do tempo. A partir disso, ele especula que modelos da Anthropic do Opus 4.7 em diante compartilham o mesmo run de treino, com corte de conhecimento perto do fim de dezembro de 2025. Para a OpenAI, a família GPT-5.6 teria vindo de um checkpoint próprio, concluído por volta do fim de fevereiro de 2026. Já o Opus 5 é apontado como estranho: embora tenha corte publicado em maio de 2026, não parece saber mais do que modelos com corte em janeiro de 2026, mesmo em testes com versões de pacotes de código.

Datas autorrelatadas e identidade

Ao perguntar aos modelos “que dia é hoje?”, o autor encontrou correlação com as estimativas factuais, com padrões verticais dentro de famílias de modelos. Ele interpreta isso como evidência de pós-treino sobre dados recentes ou destilação de modelos mais antigos. Em testes de identidade, os modelos frequentemente se apresentam como versões anteriores, o que sugere treino com conversas de usuários ou contaminação por dados da web. OpenAI aparece associado a GPT-4, GPT-4o, GPT-4.1, GPT-5 e “ChatGPT”; Anthropic a 3.5 Sonnet e Sonnet 4.5. Um ponto destacado é que o Sonnet 5, da Anthropic, às vezes se identifica como GPT-4, e Claudes reproduzem peculiaridades de modelos da OpenAI com muito mais frequência do que o inverso.