stamatios
← Voltar ao feed
Robô subindo escada feita de placas de circuito com cume encoberto, limites do autoaprimoramento de IA
IA & Modelos

Autoaprimoramento de IA avança, mas não chega à superinteligência

resumo de ~3 min

A tese: o laço de autoaprimoramento ainda é fraco demais

Ramez Naam argumenta que a IA já ajuda a melhorar a própria IA, mas que, com base nos melhores dados disponíveis, o ciclo de autoaprimoramento recursivo (RSI) precisaria ser cerca de 5 a 10 vezes mais forte para se sustentar, quanto mais para provocar uma explosão acelerada rumo à superinteligência (ASI). Ele espera progresso rapidíssimo pelos padrões de qualquer outra tecnologia, mas não vê evidência de uma explosão repentina de capacidades. Ele reconhece que pode estar errado - previsores já subestimaram a IA antes - e defende que são necessários dados melhores para acompanhar o fenômeno.

Superinteligência estreita existe; a ampla, não

Naam distingue cinco tipos de autoaprimoramento: ganhos de produtividade, aumento de autonomia com retornos decrescentes e, no tipo 5, um ciclo descontrolado rumo à superinteligência. Os tipos 1 e 2 já têm progresso real; não há evidência clara do tipo 3, muito menos do 4. Ele espera superinteligência 'estreita' em domínios altamente verificáveis - xadrez, Go, matemática formal, partes da programação - onde máquinas geram dados ilimitados com verificação perfeita. Ele cita o relato da OpenAI de uma prova gerada por IA para o problema de Navier–Stokes. Isso, porém, não equivale a superinteligência ampla: os modelos ainda precisam de muito mais dados de treino que humanos e falham em tarefas simples.

O abismo entre benchmarks e pesquisa real

Benchmarks como o gráfico de horizontes de tarefa da METR e o cenário AI 2027 preveem que modelos de ponta deveriam completar com 80% de sucesso tarefas de 3 a 11 horas humanas. Mas os dados internos da OpenAI mostram que, em tarefas reais de pesquisa, o horizonte de 80% de sucesso era de apenas cerca de 15 minutos nos primeiros sete meses do ano - mesmo em tarefas de menos de 15 minutos, os modelos tiveram sucesso sem intervenção humana em só 86% dos casos. A lacuna é de 16 a 44 vezes. Para Naam, isso indica que benchmarks e cenários como o AI 2027 - que os próprios autores ainda consideram no rumo certo - são substancialmente otimistas demais. Os dados da Anthropic apontam na mesma direção: modelos internos colaboram ou lideram mais de 90% das tarefas de P&D, mas zero tarefas foram completadas autonomamente.

Retornos decrescentes em todos os indicadores

Métricas impressionantes de atividade não se traduzem em progresso: pesquisadores da OpenAI usaram 124x mais tokens por pessoa e produziram 7x mais linhas de código, mas o ritmo de experimentos subiu apenas 1,6x. A Anthropic estima, em survey opt-in com 130 funcionários, um ganho médio geométrico de 4x de produtividade - e conclui que dobrar o ritmo geral de progresso exigiria um ganho de produtividade quase uma ordem de magnitude maior (cerca de 40x). O compute em tempo de teste também escala de forma logarítmica: cada dobra de compute compra o mesmo ganho, custando o dobro. Enxames de agentes ajudam em buscas paralelizáveis - Toby Ord estima ganho proporcional à raiz quadrada do número de agentes, com custo proporcional - mas enfrentam o problema de homogeneidade: cópias pensam parecido. No resultado de Navier–Stokes, o próprio Noam Brown, da OpenAI, não daria nem 10% do crédito aos métodos multiagente, atribuindo o avanço ao modelo treinado com aprendizado por reforço. Escalar dados, compute e modelos também mostra retornos decrescentes nos estudos publicados (Chinchilla, ScaleRL).

Sem aceleração descontrolada, com custos exponenciais

A fronteira pública de ECI ganha cerca de 16 pontos por ano desde janeiro de 2024 - rápido, mas sem aceleração sustentada; o que parecia aceleração nos dados da Anthropic parece um salto único. Manter esse ritmo exigiu crescimento de ~127x na capacidade de chips em pouco mais de três anos (estimativa da Epoch), e o investimento em infraestrutura de IA já equivale a cerca de 3% do PIB dos EUA, o que sugere que o crescimento eventualmente desacelerará. A própria Anthropic afirma que o uso interno de modelos tem sido chave para 'manter' o ritmo atual, sem sinais claros de aceleração dramática.

O cálculo do limiar

Com o modelo de Cunningham e colegas, o limiar de RSI auto-sustentável fica em cerca de 15% de ganho de produtividade de pesquisa por ponto adicional de ECI (19% com dados do Stockfish). A estimativa do próprio artigo, baseada na survey da Anthropic, é de ~9% - abaixo do limiar. Usando os experimentos registrados da OpenAI (dados mais amplos e representativos que a survey), Naam calibra apenas 2–3% por ponto de ECI, deixando uma lacuna de 5 a 10 vezes. Modelos que combinam laços de software, hardware e economia (Davidson, Halperin, Houlden, Korinek) chegam ao limiar apenas assumindo automação total da pesquisa - um salto que Naam questiona, pois a automação não elimina os retornos decrescentes nem a dificuldade crescente de encontrar ideias úteis, como ilustram a Lei de Eroom e as demonstrações de autopesquisa de Karpathy, onde ~92% do ganho veio nos primeiros 44 de 89 experimentos.

Conclusão

Um avanço conceitual do porte da arquitetura Transformer poderia mudar o quadro, e Naam espera que o laço se fortaleça com o tempo. Mas, pelos dados atuais, o autoaprimoramento está longe de se autorrenovar, e a IA ainda depende de humanos para direção e julgamento de pesquisa - além de melhorar apenas lentamente em ideias abertas e ambiciosas. Serão necessárias medições melhores e mais frequentes para acompanhar se essa lacuna se fecha.