LLMs são bons em matemática porque a literatura da área é correta

A tese: dados de pré-treino, não verificabilidade

Em uma publicação no LessWrong, o pesquisador Steven Byrnes contesta uma explicação comum para o desempenho dos LLMs em matemática: a de que essa área se destaca porque é fácil de verificar respostas. Para Byrnes, esse argumento é circular quando se trata de matemática avançada baseada em provas, porque o verificador, nesse caso, é o próprio LLM. Dizer que 'matemática é fácil de verificar' equivale a dizer que 'LLMs são muito bons em julgar argumentos matemáticos' - o que ainda exige uma explicação.

Sua teoria alternativa, coerente com um post anterior seu que defende que LLMs são movidos principalmente por aprendizado imitativo (e não por RL): os modelos são bons em matemática porque praticamente tudo na literatura matemática é correto. Uma frase aleatória de um artigo de pesquisa matemática tem mais de 99% de chance de ser verdadeira. Logo, se o LLM faz o que faz melhor - imitar os dados de pré-treino -, ele tenderá a produzir deduções corretas, precisando apenas de um pouco de dados curados de mid-training e/ou RL para aprimorar estratégias metacognitivas.

Código e outras áreas

Aplicando a mesma lógica ao código: quase todo código disponível na internet compila, roda e faz aproximadamente o esperado, então a imitação já leva a código funcional. O problema é que esse código costuma ser feio, com bugs e ineficiente - o que exige correção via dados curados e RL. Esse é um desafio maior do que na matemática, mas as empresas investiram muito nos últimos anos e obtiveram progresso impressionante.

Já em muitas outras áreas, a literatura de pesquisa é, nas palavras do autor, uma 'dumpster fire': verdades valiosas misturadas a uma quantidade enorme de ideias falsas e confusas. Um LLM treinado por imitação nesses domínios produziria nonsense confuso com insights ocasionais, sem rótulos indicando o que é o quê - tal como os humanos. Curar dados ou aplicar RL nessas áreas seria um desafio muito maior do que foi para código ou matemática.

Implicações para autoaperfeiçoamento e alinhamento

Byrnes conecta a teoria a dois debates: o do autoaperfeiçoamento recursivo de LLMs e o da pesquisa automatizada de alinhamento. Em ambos, ele sugere que a pergunta relevante é se a literatura envolvida (ideias incrementais de ML ou novos paradigmas de IA) se parece mais com a matemática (fonte pura de verdades), com o código no GitHub (funciona, apesar de defeitos) ou com as outras áreas (caos). Ele deixa as conclusões para o leitor.

Correções e contra-argumentos nos comentários

O autor editou o post após críticas. Ele reconheceu que RLVR (RL com recompensas verificáveis) em questões de matemática com resposta certa existe, e apagou a afirmação de que as empresas fazem pouco RL em matemática. Ele mantém, porém, a objeção de 'ovo e galinha': parece inviável construir um autoformalizador Lean de provas em linguagem natural sem já ter um modelo bom em provas em linguagem natural.

Nos comentários, Beren discordou fortemente: segundo ele, as empresas usam Lean e outras ferramentas de autoformalização no loop de RL como componente central de pipelines sérios de matemática, além de sistemas algébricos como Sympy e bootstrapping a partir de questões com resposta conhecida, com transferência surpreendente para provas. Ele também defende que os laboratórios pagam bilhões por questões e traces de raciocínio de nível de doutorado. Thane Ruthenis concordou que a amplitude da literatura matemática legível vem do pré-treino, mas sustentou que verificadores baratos são uma razão adicional e separada. Dylan Bowman apontou que a teoria não explica bem o desempenho dos LLMs em cyberofensiva, onde há poucos exemplos de sequências de ação humana online; Byrnes respondeu que o discurso técnico de cibersegurança também é majoritariamente verdadeiro, e que post-training é essencial para transformar conhecimento latente em agência eficaz. Archimedes argumentou que qualidade dos dados e verificabilidade estão entrelaçadas, não são um dilema.