Estudo mostra que metade dos benchmarks de IA está saturada

Metade dos benchmarks de IA já não consegue diferenciar os melhores modelos

Um estudo sistemático da EvalEval Coalition analisou 60 benchmarks de texto amplamente usados para avaliar modelos de linguagem e encontrou que 29 deles (quase metade) estão altamente saturados - ou seja, os modelos líderes ficam dentro da margem de ruído estatístico e o benchmark perdeu capacidade discriminativa. Desses 29, 14 já ultrapassaram o índice de saturação de 0,9 (numa escala de 0 a 1).

O que é saturação, formalmente

Os autores definem um Saturation Index (Sindex): a razão entre a faixa normalizada de scores entre os top-k modelos (padrão k=5) e o ruído estatístico esperado dado o tamanho do conjunto de teste. Quando o Sindex se aproxima de 1, o leaderboard é essencialmente ruído.

O que protege contra saturação (e o que não protege)

O estudo testou seis hipóteses sobre fatores que, em teoria, deveriam retardar a saturação. A maioria não se sustenta quando se controla pela idade do benchmark:

• Conjuntos de teste privados não mostram vantagem sobre públicos.
• Formato aberto vs. fechado (múltipla escolha vs. geração livre) não faz diferença significativa.
• Multilinguismo parece ajudar, mas só porque benchmarks multilíngues são em média 16 meses mais jovens - é um confundimento de idade, não uma propriedade protetora.
• Citações perdem correlação com saturação ao controlar por idade.

O que de fato funciona: tamanho do conjunto de teste é o preditor mais forte de menor saturação, e curadoria por especialistas parece ajudar numa dada idade (embora benchmarks crowdsourced tendam a ser mais velhos, complicando a leitura). Um modelo bayesiano conjunto explica 88,4% da variância, com idade e tamanho do test set como variáveis dominantes.

Por que isso importa

Um benchmark saturado não é apenas menos útil - ele engana ativamente. Diferenças de 0,3 ponto em leaderboards, frequentemente citadas como "state of the art", podem ser estatisticamente indistinguíveis de empate. A maioria dos leaderboards não reporta intervalos de confiança.

Recomendações dos autores

• Reportar intervalos de confiança junto com os scores.
• Aumentar o tamanho do conjunto de teste como primeira alavanca.
• Preferir curadoria especializada na coleta de dados.
• Estabelecer critérios explícitos de aposentadoria ou renovação de benchmarks, em vez de deixá-los acumular citações além do ponto de utilidade.

Limitações

A amostra de 60 benchmarks tende a super-representar justamente os mais citados e antigos - os mais pressionados pela saturação. As anotações de propriedades são tratadas como estáticas, embora benchmarks sejam revisados. A análise de incerteza foi construída para métricas de acurácia sobre test sets fixos; benchmarks com Elo, pass@k ou avaliação por LLM-judge exigiriam tratamento diferente. O estudo estabelece correlações, não mecanismos causais.