Reavaliação mostra que benchmarks de física para IA estavam quebrados
Um artigo submetido ao arXiv em 11 de setembro de 2026, assinado por Ali Ansari e outros 50 autores, reexamina o desempenho de modelos de fronteira em física. O ponto de partida é a impressão criada por pontuações baixas em benchmarks de física amplamente divulgados, incluindo os que integram o Artificial Analysis Intelligence Index (2026): a de que modelos de linguagem de fronteira ainda têm dificuldade com física avançada, um teste exigente de raciocínio científico e de resolução quantitativa de problemas. Segundo os autores, essa impressão nem sempre corresponde à experiência de especialistas que usam esses modelos no próprio trabalho.
O que foi auditado
Os pesquisadores avaliaram modelos de fronteira em seis benchmarks de física amplamente usados e submeteram os resultados a auditoria por especialistas, concentrando-se em problemas apenas de texto com respostas finais verificáveis. Para cada subárea da física, professores e pesquisadores de pós-graduação com expertise relevante revisaram enunciados, soluções de referência e respostas dos modelos. O objetivo era separar erros genuínos dos modelos de três outros tipos de problema: erros de correção, soluções de referência incorretas e questões ambíguas ou mal especificadas.
A conclusão dessa etapa é que a maioria dos casos auditados, inicialmente avaliados como incorretos, reflete esses defeitos de benchmarking, e não falhas no raciocínio físico dos modelos. Em seguida, os especialistas foram convidados a lidar com os problemas encontrados, corrigindo soluções de referência erradas e reparando ou excluindo questões defeituosas.
Os números após a correção
O texto reporta o efeito das correções sobre as pontuações do GPT-5.6-Sol. A média mean@4 sobe de 47,3% para 78,7% no HLE-Physics e de 61,0% para 87,2% no CMT-Benchmark. O pass@4 corrigido chega a 94,4% nos 54 desafios CritPt mantidos. Os subconjuntos auditados de UGPhysics, PRISM-Physics e PHYBench também apresentam aumento substancial depois da correção. O artigo ressalva que as pontuações corrigidas são calculadas sobre os subconjuntos de avaliação retidos após a revisão dos especialistas.
Interpretação e limites
Os achados sugerem que os benchmarks atuais subestimam substancialmente a capacidade dos modelos de fronteira de resolver problemas de física bem formulados. A quase saturação nessas tarefas de resposta fechada, por sua vez, indica a necessidade de avaliações mais exigentes e validadas por especialistas. O artigo não afirma que os modelos resolvem física em geral; sua análise se limita a problemas de texto com resposta final verificável, e as pontuações revisadas valem apenas para os subconjuntos que sobreviveram à auditoria.