Google publica método RRSI para agentes de IA que se auto-aprimoram

Pesquisadores do Google Cloud AI Research, em colaboração com UNC-Chapel Hill, Stanford University e Washington University in St. Louis, publicaram o RRSI (Regularized Recursive Self-Improvement), um método para agentes de IA que se auto-aprimoram sem sobreajustar o benchmark em que são avaliados. O trabalho foi publicado como preprint no arXiv, com código aberto no repositório google-research/rrsi.

O problema: sobreajuste no benchmark de evolução

Métodos anteriores de auto-aprimoramento recursivo fazem o chamado "harness" - a infraestrutura que envolve o modelo e coordena seu funcionamento - evoluir contra um conjunto de benchmarks. O resultado, segundo os autores, é que esses harnesses acabam aprendendo o benchmark em si: ganham pontos no conjunto usado na evolução, mas esse ganho encolhe ou desaparece quando o benchmark muda. Em dois dos métodos anteriores, o desempenho final ficou abaixo do do harness original, sem evolução.

O RRSI propõe o caminho oposto: regularizar o processo de busca, e não o harness. Todos os componentes do harness permanecem editáveis, mas o laço que os edita é restrito - tanto em quanto cada proposta pode mudar quanto em quais ganhos medidos têm permissão de se tornar permanentes.

Como o método funciona

O RRSI atua em dois lados. No lado da proposta, que define como a capacidade de busca é gasta, há três mecanismos: um orçamento de edição com annealing, em que rodas iniciais podem agrupar algumas edições coordenadas para descobrir um mecanismo e rodadas finais exigem uma única mudança atribuível; crédito baseado em evidência, em que cada candidato é registrado com hipótese, diff, pontuação e mudança de custo, permitindo que o proponente construa sobre o que funcionou e pare de retestar o que falhou; e exploração estruturada, que redireciona o orçamento para componentes nunca tocados quando o progresso estagna dentro da faixa de ruído.

No lado da seleção, que decide quais ganhos se tornam permanentes, há quatro regras: um critic de vazamento, que rejeita nomes de tarefas, entidades, respostas ou lógica específica de benchmark antes de qualquer candidato ser pontuado; um piso ajustado ao ruído, exigindo que um ganho supere a variância medida no harness base inalterado; uma regra de custo, em que tokens extras de inferência precisam ser pagos pelo ganho medido; e pruning, que sinaliza para exclusão os componentes que deixam de justificar sua existência.

Um ciclo completo envolve um proponente que gasta um orçamento de edição decrescente e lê o registro completo, um critic que tria vazamentos antes da pontuação e um gate que só admite candidatos que superem o piso de ruído e paguem pelos próprios tokens.

Resultados: ganhos fora da distribuição

Os experimentos evoluíram o harness em um conjunto por domínio e depois o rodaram sem alteração em todos os outros benchmarks, mantendo as mesmas ferramentas, juiz, trials e janela do harness original (H0). A política usada foi o Claude Opus 4.8. Foram oito benchmarks em três domínios: codificação, workspace agêntico e design de engenharia.

Os números relatados: ganho médio de 4,0 pontos nos três benchmarks contra os quais o harness evoluiu, e ganho médio de 3,4 pontos nos seis benchmarks de validação (held-out) que ele nunca otimizou - todos os seis melhoraram. O RRSI é apresentado como o único método cujo ganho cresce fora da distribuição, superando a média dos métodos anteriores em até 22,9% nos benchmarks held-out.

O método também se mostrou mais barato: os tokens de política por trial caíram 36% em comparação com a evolução sem regularização. Segundo os autores, o RRSI é o harness evoluído mais leve e o único que supera H0 por mais de um ponto. A leveza vem de duas regras que atuam diretamente no custo: a regra de custo recusa crescimento não pago no momento da proposta, e o pruning remove crescimento que deixou de se pagar.

A página do projeto inclui um "evolution explorer" que permite acompanhar quatro execuções reais, rodada por rodada, com cada candidato, o que foi proposto, o que o critic respondeu, por que o gate manteve ou descartou e o diff exato, além do diff final do H0 ao H(T).

Os autores encerram a tese central: harnesses que se auto-aprimoram tendem a aprender o benchmark em que são pontuados; o RRSI regulariza a busca para que o que aprendem transfira para fora dela.