AI superforecasters se aproximam de accuracy humana em previsões

O debate sobre o teto da previsão

Scott Alexander analisa se previsões com IA têm espaço para crescer muito além do nível humano atual, ou se já estamos perto de um limite fundamental de previsibilidade dos eventos do mundo. Ele estima 70-30 de chance de que a IA ultrapasse significativamente os melhores humanos.

O argumento cético de Reeves

Daniel Reeves argumenta que mercados de previsão de 2010 superaram modelos estatísticos simples em apenas 3-6% (RMSE), sugerindo que ganhos marginais são pequenos. Alexander contesta essa leitura: nos esportes, o domínio é deliberadamente projetado para resistir à previsão (salary caps, drafts, campos simétricos), tornando qualquer avanço naturalmente pequeno em termos absolutos. Nas bilheterias de cinema, a comparação é contra saber se um filme é indie ou blockbuster e quantas pessoas estão buscando no Google - uma baseline já forte.

Aplicação à geopolítica

Na plataforma Metaculus, a diferença entre chance aleatória e superforecasters humanos é de 0,13 pontos Brier - três vezes mais do que o modelo de Reeves sugeriria ser possível. Isso porque perguntas geopolíticas frequentemente têm probabilidades extremas (ex: "os EUA bombardearão o Canadá este mês?" é ~99-1), ao contrário de esportes que são quase 50-50.

Âncoras para estimar o teto

Alexander usa três âncoras para estimar onde IAs poderiam chegar numa escala tipo-Elo (onde GPT-4 = 0 e humanos médios = 0):

• Âncora 1 (ganhos proporcionais aos de Reeves): IA atingiria score ~56
• Âncora 2 (ganhos proporcionais à melhoria de superforecasters 2010 → Samotsvety): score ~65
• Âncora 3 (analogia com xadrez, onde humanos estão ~3 peões abaixo do ótimo): score ~85

Implicações práticas

Traduzindo para mercados de previsão: um mercado hoje em 50% de confiança passaria a 54-62% com IAs no máximo possível. Alexander considera isso muito relevante: quem usa Polymarket geralmente já sabe que algo não é 10% nem 90%, e quer distinguir 55% de 75%. Uma melhora de 4-12 pontos percentuais nesse range é valiosa.

Além do número principal, forecasters melhores também ajudariam a identificar perguntas importantes que ninguém pensou em fazer (como riscos de pandemia antes de 2020) e a formular políticas melhores - benefícios compostos que vão além da precisão bruta.