Pesquisadores debatem quão perto está a auto-melhoria recursiva da IA
O argumento contra a auto-melhoria rápida
John Schulman (cientista-chefe da Thinking Machines, ex-cofundador da OpenAI), Beren Millidge (CTO da Zyphra) e Charlie O'Neill (chefe de treinamento da Baseten) debateram quão perto está a auto-melhoria recursiva (RSI). A pergunta: se em 2036 não houver superinteligências transformando o mundo, qual seria a razão técnica mais provável, além de choques políticos ou proibições? Millidge citou uma espécie de paradoxo de Moravec: a IA pode ficar muito boa em benchmarks, mas persistir uma lacuna entre simulação e realidade que bloqueia a generalização. Ele considera isso improvável, porque já se vê generalização a partir de RL, mas seria seu cenário padrão se aprendizado contínuo e meta-aprendizado não fossem resolvidos. Schulman concordou: modelos novos impressionam e depois parecem limitados; o gargalo está em julgamento, autoavaliação e pesquisa que não gera ganho explosivo. Mesmo escrevendo mais código que uma pessoa, o modelo não torna alguém 100 vezes mais produtivo.
Generalização, objetivos e descontinuidades
O'Neill perguntou quão longe o transformer com RL está do ótimo global de um “aprendiz em um chip”. Se um agente for 0,1% melhor que todos os humanos em pesquisa de IA, rodar centenas de milhares ou milhões deles em paralelo e mais rápido poderia superar outros gargalos e levar a uma aceleração rápida. Mas, se for preciso outra descontinuidade como as que sustentaram a lei de Moore e as leis de escala dos LLMs - pré-treinamento e depois RL -, não está claro que ambientes de RL atuais, mesmo voltados à RSI, consigam descobri-la. O resultado poderia ser uma curva assintótica. Schulman lembrou que, nos primeiros tempos da OpenAI, ele achava que minimizar perda logarítmica não levaria à inteligência; ainda assim, funcionou. O campo depende de generalização difícil de prever.
O'Neill disse que, quando o objetivo é bem especificado, pensar pode acelerar muito: uma IA poderia ter detectado que as leis de escala de Kaplan ignoravam o annealing e economizado um ou dois anos; exemplos com muP e escala de learning rate poderiam render 10x. Mas isso não resolve como escolher o objetivo certo. Millidge chamou essa de questão central para RSI rápido: a IA precisa propor objetivos, otimizá-los, propor novos e não sair dos trilhos. Schulman afirmou que definir o objetivo e decidir o que queremos será o trabalho humano que durará mais, incluindo constituições e especificações de modelo.
Laboratórios chineses e destilação
Schulman disse que a destilação combate a centralização: o que se aprende por RL pode ser destilado com poucos bits, embora a distribuição de prompts realistas seja crucial. Ele mencionou serviços de roteamento/proxy que permitem acesso a modelos de fronteira dos EUA na China e que coletam e vendem dados - uma distribuição de prompts valiosa para destilação. Millidge acrescentou que os laboratórios chineses podem comprar os mesmos dados de empresas ocidentais. O'Neill sugeriu que, se laboratórios de fronteira têm ambientes de RL e destilação de logits e ainda assim fazem modelos piores, talvez a distribuição de prompts e a implantação real importem mais que os ambientes. Schulman propôs que ambientes variam em dificuldade e realismo; a destilação ingênua iguala o professor em tarefas verificáveis, mas falha em contextos realistas de agente de programação.
Como treinar pesquisadores automáticos
Sobre os primeiros modelos capazes de automatizar P&D de IA, Schulman previu combinação de feedback humano para absorver o gosto dos pesquisadores e ambientes de prática com projetos de várias etapas, corrigindo fraquezas a cada iteração. O'Neill descreveu transformar bugs e melhorias recentes do stack de treinamento em ambientes; em vez de voltar antes do GRPO, a restrição de compute faria todos ficarem na fronteira. Millidge observou que destilar trajetórias nunca supera o professor, mas ambientes podem ir além do humano. O'Neill resumiu que ainda se tenta destilar os últimos três meses de progresso, com humanos no circuito, o que parece assintótico. A conclusão é que não há consenso: o cenário sem RSI rápida exigiria uma assíntota antes de cruzar o Elo humano ou regulação drástica; se o loop se fechar sem humanos, permanece incerto.