Lembrar é o gargalo: LLMs erram fatos por falha de recall

Recall, não armazenamento, é o gargalo dos fatos em LLMs

Pesquisadores do Google Research propõem o framework knowledge profiling para separar duas causas possíveis de erros factuais em LLMs: o fato nunca foi aprendido ("empty shelves") ou está armazenado, mas não é acessível ("lost keys"). Em vez de medir apenas acerto por pergunta, eles avaliam o estado de cada fato em três níveis - encoding (reproduzir o fato em contexto parecido com pré-treino), knowledge (responder perguntas semanticamente equivalentes em várias formulações) e recall (acessar o fato sem dicas externas).

Para isso, criaram o benchmark WikiProfile, com 2.150 fatos extraídos da Wikipedia, cada um associado a dez tarefas: duas de encoding, quatro de conhecimento e quatro de reconhecimento em múltipla escolha. Foram avaliados 13 LLMs, com e sem modo de raciocínio, gerando cerca de 4,5 milhões de respostas.

Resultado principal

Nos modelos de fronteira - Gemini 2.5 Pro, Gemini 3 Pro, Gemini 3 Flash e GPT-5 - o encoding está quase saturado: 95% a 98% dos fatos estão codificados. Ainda assim, esses modelos falham em recordar diretamente 26% a 34% dos fatos. Mesmo com "thinking", continuam errando 11% a 12%. Ou seja, muitos erros factuais não vêm de ausência de conhecimento, mas de conhecimento presente e mal acessado.

No scaling da família Gemma 3, modelos maiores reduzem drasticamente falhas de encoding, mas as falhas de recall permanecem e passam a representar fatia maior dos erros restantes.

Por que o recall falha

Dois padrões se destacam:

• Fatos raros: são codificados em taxa próxima à de fatos populares, mas têm gap muito maior no recall. O problema da cauda longa é mais de acesso do que de capacidade.
• Perguntas reversas ("reversal curse"): se o modelo sabe "A é B", tem dificuldade em responder "quem é B?" em geração aberta. Mas, em múltipla escolha, reconhece a resposta tão bem quanto - às vezes melhor - nas perguntas reversas. Logo, o conhecimento bidirecional não está ausente; é difícil de evocar.

Thinking como mecanismo de recuperação

O modo de raciocínio recupera 40% a 65% dos fatos codificados, porém não diretamente recordáveis, em modelos otimizados para thinking. Em fatos não codificados, ajuda pouco (5% a 15%). Isso sugere que o thinking atua principalmente como facilitador de recall, não como gerador de conhecimento novo. O custo computacional, porém, permanece, e ainda não está claro quando acioná-lo.

A conclusão do estudo é que, com encoding próximo da saturação nos modelos de fronteira, os próximos ganhos de factualidade podem vir menos de aumentar modelo/dados e mais de melhorar o uso do conhecimento já armazenado.