Modelos de IA trocam memória factual por raciocínio

A troca entre memória e raciocínio

O texto argumenta que os modelos atuais estão ficando mais eficientes em matemática e programação porque os laboratórios estão reduzindo deliberadamente a quantidade de conhecimento factual armazenado nos parâmetros e priorizando procedimentos de raciocínio. O contraste aparece nos benchmarks: o GLM-5.2 alcança 99,2% no AIME 2026 com cerca de 40 bilhões de parâmetros ativos por token; o Qwen3.5 chega a 91,3% com 17 bilhões; e o DeepSeek V4-Flash usa 13 bilhões. Como comparação, o GPT-4 teria cerca de 280 bilhões de parâmetros ativos em 2023 e ainda mal conseguia resolver um problema do AIME.

A melhora não se repete na recuperação de fatos. No SimpleQA, que não permite ferramentas, o Gemini 2.5 Pro lidera com 53%, ou seja, ainda erra quase metade das perguntas. Segundo o Artificial Analysis, o Qwen3.5 de 4B e o de 9B apresentam taxas de alucinação de 80% a 82% em seu benchmark de conhecimento. Para o autor, isso indica uma troca: os modelos preservam capacidade de raciocinar, mas sacrificam profundidade factual.

Por que o conhecimento sai dos parâmetros

O texto afirma, com base em pesquisas sobre capacidade de conhecimento, que cada parâmetro comporta aproximadamente dois bits de informação factual. Armazenar dados muito específicos - como biografias pouco conhecidas, populações municipais e a ordem dos argumentos de funções de pacotes npm - exige muitos pesos e ajuda a explicar por que modelos de fronteira chegaram a trilhões de parâmetros.

Procedimentos de raciocínio comprimem melhor. Dividir um problema, acompanhar estados intermediários, verificar o próprio trabalho e voltar atrás quando uma etapa falha são operações reutilizáveis. Destilação e aprendizado por reforço em tarefas verificáveis conseguem transferir essas capacidades para modelos menores. O Phi-4, com 14 bilhões de parâmetros, é apresentado como exemplo de modelo treinado intensamente com dados sintéticos em formato de livro didático: bom em matemática, mas fraco em trivialidades.

O conhecimento que permanece tende a ser amplo e superficial. Um modelo pode saber o que é PostgreSQL e explicar aproximadamente o MVCC, mas inventar a versão em que um recurso específico do planejador foi introduzido. Essa camada geral ajuda a identificar o assunto, decidir o que procurar e avaliar se uma fonte parece plausível; detalhes profundos seriam mais baratos de recuperar do que de manter nos pesos.

O conhecimento passa para o ambiente de execução

Como os fatos mudam - APIs, preços e empregos, por exemplo - eles envelhecem assim que o treinamento termina. Já procedimentos como álgebra e decomposição de problemas não se alteram da mesma maneira. Separar o modelo, caro e lento de treinar, do estado atual do mundo reduziria a importância do corte temporal do treinamento.

Nesse arranjo, o ambiente de execução, ou harness, fornece a memória por meio de recuperação em bases de conhecimento, chamadas de ferramentas, busca na web e arquivos de documentação. Um agente de programação pode consultar node_modules ou a documentação da versão instalada, em vez de depender de uma API memorizada durante o treinamento.

Modelos locais e alucinações verificáveis

O autor considera possível que, em alguns anos, um modelo com raciocínio de nível de fronteira rode em uma única GPU de consumo. O DeepSeek V4-Flash já usa cerca de 13 bilhões de parâmetros ativos; os outros 271 bilhões em seus especialistas seriam, em grande parte, armazenamento factual. Um modelo de 20 a 40 bilhões de parâmetros, quantizado a 4 bits, poderia caber em uma placa de 24 GB. Sem ferramentas, ele saberia pouco; com um bom ambiente de execução, poderia operar localmente, sem cobrança por token e sem enviar dados para fora da máquina.

A mudança também poderia tornar as alucinações mais corrigíveis. Um fato errado armazenado nos pesos é difícil de localizar e corrigir; uma afirmação baseada em documento tem uma fonte que pode ser aberta, editada e submetida a testes de regressão. A recuperação não eliminaria erros, pois o modelo ainda poderia interpretar ou combinar fontes de forma equivocada, mas tornaria as respostas rastreáveis. Nesse futuro, conclui o texto, o modelo poderia deixar de ter um corte temporal de conhecimento, porque os fatos atuais seriam fornecidos em tempo de execução.