Benchmarks de LLM estão cada vez mais hackeáveis
A fragilidade crescente dos benchmarks
Dan Luu argumenta que os benchmarks de desempenho estão se tornando cada vez mais vulneráveis a manipulação, fenômeno que chama de "benchmark-pocalypse". Segundo ele, embora tenha ficado mais fácil obter ganhos reais de performance, também ficou mais fácil forjar melhorias ao explorar falhas nos critérios de medição. Luu afirma observar esse tipo de caso pelo menos uma vez por semana, frequentemente associado a projetos que reescrevem software em Rust ou a startups buscando financiamento.
O papel dos LLMs na banalização do hack
O ponto central é que LLMs reduziram drasticamente o custo de manipular suites de benchmarks grandes. Antes, explorar vulnerabilidades em benchmarks como SPECint ou SPECfp exigia engenheiros especializados dedicando muito tempo - Luu cita o exemplo da Sun, que conseguiu melhorar o teste 179.art em 12x no SPECfp2000 por meio de "otimizações" de compilador direcionadas. Agora, um agente de IA em loop pode fazer isso de forma trivial e, segundo Luu, faz isso por padrão, tornando benchmarks antes confiáveis inúteis sem auditoria dos resultados.
Demonstração prática: o motor de regex FRE
Como evidência, Luu descreve o FRE, um motor de expressões regulares que mandou um agente construir. O resultado supera o crate de regex do Rust na suite de benchmarks rebar, o que permitiria alegar ser "o motor de regex mais rápido do mundo". No entanto, o processo consistiu em colocar um agente em loop durante um mês, com instruções para não sobreajustar ao benchmark, mas sem supervisão real. Em cerca de duas semanas o agente igualou o desempenho do crate Rust e em mais duas semanas alcançou 1,4x mais velocidade no rebar. Luu reconhece que agentes tendem a fazer reward hacking e sobreajuste a menos que haja salvaguardas rigorosas - salvaguardas que ele deliberadamente não implementou neste caso, como experimento.
Implicação
A tese é que benchmarks de larga escala, antes considerados confiáveis por serem caros de manipular, perderam essa propriedade na era dos agentes de IA. Qualquer alegação de desempenho baseada em benchmark precisa ser auditada ou depender de alguém que tenha auditado.