Previsões de progresso da IA subestimam avanços em benchmarks

O que o estudo mostra

O Forecasting Research Institute (FRI) fez uma primeira análise da precisão das previsões sobre progresso da IA coletadas desde meados de 2022, comparando previsões medianas de especialistas e superforecasters com dados observados e projeções feitas por LLMs (GPT-5.5 em agosto de 2026). A conclusão central: os previsores subestimam dramaticamente o progresso da IA em benchmarks, têm histórico misto em adoção e difusão (mas geralmente tendendo à subestimação), e ainda não há evidência suficiente sobre impactos econômicos e sociais em escala macro.

Benchmarks: subestimação consistente

No Existential Risk Persuasion Tournament (2022), superforecasters atribuíram probabilidade média de apenas 9,7% aos resultados observados em benchmarks como MATH, MMLU e IMO Gold Medal, contra 24,6% dos especialistas. A conquista do ouro na Olimpíada Internacional de Matemática em julho de 2025 veio cinco anos antes da previsão mediana de especialistas (2030) e dez antes da dos superforecasters (2035).

O padrão persiste em previsões recentes. No LEAP (Longitudinal Expert AI Panel), a mediana prevista para FrontierMath Tiers 1–3 até o fim de 2025 foi de 30–31%, mas o resultado foi 40,7%. Para LiveCodeBench Pro (Hard), as medianas de 12–14% contrastam com os 53,8% do estado da arte em maio de 2026. Os previsores também deram apenas 10% (especialistas) e 5,4% (superforecasters) de chance de a IA resolver um Millennium Prize Problem até 2027, enquanto a OpenAI aparentemente resolveu o problema de Navier-Stokes.

Há exceções: previsões sobre desempenho de modelos chineses no Epoch Capabilities Index e sobre crescimento de data centers parecem razoavelmente precisas.

Adoção e difusão: quadro misto

As previsões de receita subestimam fortemente: especialistas previram ARR máximo de US$ 20 bilhões para uma empresa de IA no fim de 2026 e superforecasters US$ 25 bilhões, quando o valor atual provável é US$ 100 bilhões. Para a receita combinada de OpenAI e Anthropic, as medianas de US$ 70–90 bilhões ficam muito abaixo dos US$ 140 bilhões prováveis. No XPT, também subestimaram o custo dos maiores experimentos: Grok 4 custou cerca de US$ 388 milhões, contra previsões de US$ 100–180 milhões para 2030.

Por outro lado, os especialistas superestimaram a adoção de veículos autônomos (7,3% das corridas de ride-hailing nos EUA até 2027, contra projeção de 2,5%); superforecasters, com 2%, estiveram mais precisos. Em um estudo de biorrisco, todos os grupos superestimaram o quanto LLMs ajudam leigos em tarefas de laboratório: apenas 5,2% dos participantes completaram as tarefas em teste controlado, contra previsões medianas de 16,2% a 40%.

Impacts e governança

Poucas questões sobre impactos econômicos e trabalhistas se resolveram, impedindo conclusões firmes. Em governança, especialistas e superforecasters deram 50% de chance de alguma governo restringir publicamente um sistema de IA por razões de segurança até 2030; restrições recentes, como o acesso limitado do GPT-5.6 Sol a parceiros aprovados pelo governo dos EUA, sugerem que a resolução pode estar mais próxima do que o previsto.

Limitações e discussão

Os próprios autores apontam vieses: o método favorece a identificação de subestimações, porque superestimações só podem ser confirmadas após a data de resolução; o foco em medianas pode ocultar previsões mais precisas de subgrupos; e algumas especificações de questões podem ter confundido os previsores.

Uma hipótese alternativa discutida é que benchmarks avançam rápido porque é fácil 'ensinar para o teste' e, portanto, podem não refletir capacidades reais - nesse caso, os previsores poderiam estar mais corretos sobre impactos do mundo real. Os próprios previsores do LEAP parecem estar atualizando suas visões: entre ondas de 2025 e 2026, aumentaram as probabilidades de a IA ter impacto comparável a 'tecnologia do milênio' até 2040. O próximo post da série discutirá melhorias no LEAP, incluindo destacar previsões de painelistas que esperam progresso muito rápido e incorporar previsões contínuas de LLMs.