Estudo do Google mostra como LLMs armazenam e recuperam fatos
O que o estudo do Google descobriu
O Google Research publicou o estudo "Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality", que introduz o método de knowledge profiling para distinguir por que modelos de IA erram em fatos: porque nunca aprenderam a resposta ("prateleiras vazias") ou porque aprenderam mas não conseguem recuperar sob demanda ("chaves perdidas"). O teste foi feito com 13 modelos usando um benchmark de 2.150 fatos.
Os resultados mostram que modelos avançados, como Gemini 3 e GPT-5, armazenam 95–98% dos fatos com que foram treinados, mas conseguem recuperar de forma confiável apenas 26–34% deles. Mesmo com o modo de pensamento ativado, os modelos ainda falham em recuperar 11–12% dos fatos. A lacuna entre armazenamento e recuperação se manteve consistente entre os modelos testados. Na família Gemma 3, modelos maiores armazenam melhor os fatos, mas não recuperam melhor do que os menores - a maioria dos erros ainda vem da recuperação.
Por que os modelos "esquecem"
Dois fatores dificultam a recuperação: o reversal curse e a raridade do fato. No reversal curse, o modelo armazena e recupera corretamente a frase "A é B", mas tem dificuldade em responder "O que é B?". Em perguntas de múltipla escolha, porém, os modelos reconheceram a resposta correta nos dois sentidos - ou seja, o fato é conhecido, mas não é recuperável quando a pergunta é invertida. Quanto à raridade, fatos pouco conhecidos são armazenados em taxa quase igual aos populares, mas são menos recuperados.
O modo de pensamento não é solução completa: ele recupera 40–65% dos fatos que o modelo não conseguiria recuperar diretamente, e age mais escavando um fato já armazenado do que raciocinando para gerar uma resposta nova.
Implicações para visibilidade de marcas
O contexto para a discussão é que o tráfego de busca generativa cresceu 796% em dois anos. Como a marca não controla como os LLMs evoluem nem como os clientes formulam perguntas, o controle está em tornar os próprios conteúdos e mensagens fáceis de recuperar - incluindo menções em sites terceiros confiáveis.
O artigo recomenda três ações. Primeira: formular as mensagens-chave em múltiplas direções, para contornar o reversal curse - por exemplo, dizer "Empresa A oferece aluguel de miniescavadeira no mesmo dia na Região B" na página de serviços e a versão invertida "Quem oferece aluguel de miniescavadeira no mesmo dia na Região B?" na página de FAQ, PR e redes sociais, criando múltiplos caminhos para o mesmo fato.
Segunda: auditar a presença da marca em buscas com IA, usando uma ferramenta de visibilidade como a OmniSEO®, que rastreia a marca no ChatGPT, Perplexity, AI Overviews e outras plataformas, mostrando quais consultas citam a empresa, quais mencionam concorrentes e como é o sentimento comparado.
Terceira: transformar as conclusões da auditoria em plano de conteúdo. O processo sugerido é listar os USPs e mensagens-chave do negócio, cruzar com a auditoria para identificar o que a IA não menciona, priorizar esses pontos, e também observar USPs que a IA já capta sem otimização. As mensagens devem aparecer em páginas de produtos e serviços, páginas de fim de funil, estudos de caso e posts de blog, cada uma com formulações levemente diferentes, transformando o USP em um fato "comum", mais fácil de ser recuperado.
FAQ e contexto adicional
O artigo diferencia encoding (armazenamento durante o treino) de recall (recuperação sob demanda): encoding está próximo da saturação (95–98%), enquanto o recall fica bem atrás. Respostas erradas sobre uma marca podem decorrer de dados nunca armazenados, informações desatualizadas de outra fonte ou falha de recuperação - a explicação mais provável segundo o estudo. O conteúdo inclui divulgação da WebFX, agência que publica o texto e oferece serviços de SEO com IA.