Google corrige overfitting de agentes autoevolutivos com regularização RRSI
O problema: harnesses que aprendem o benchmark
Pesquisadores do Google Cloud AI Research, em colaboração com UNC-Chapel Hill, Stanford e Washington University in St. Louis, apresentam o RRSI (Regularized Recursive Self-Improvement), um método para self-improvement recursivo de agentes. A tese central: harnesses autoevolutivos (loops que editam a própria infraestrutura do agente) tendem a sofrer overfitting do benchmark no qual são avaliados. Métodos anteriores mostram grandes ganhos no conjunto usado para evoluir, que encolhem ou desaparecem quando o benchmark muda - e, em dois casos, terminam abaixo do harness inicial.
A ideia: regularizar o laço de busca, não o harness
O RRSI mantém todos os componentes do harness editáveis, mas restringe o laço que os edita, em duas frentes. No lado da proposta (como a capacidade de busca é gasta): um orçamento de edições com annealing - rodas iniciais podem agrupar edições coordenadas para descobrir mecanismos, rodas finais ficam com uma mudança atribuível por vez; crédito baseado em evidência, com registro de hipótese, diff, score e custo de cada candidato, para que o proposer construa sobre o que funcionou; e exploração estruturada, que redireciona orçamento para componentes nunca tocados quando o progresso estagna dentro da faixa de ruído.
No lado da seleção (quais ganhos se tornam permanentes): um crítico de vazamento (leakage critic) rejeita nomes de tarefas, entidades, respostas ou lógica específica do benchmark antes da avaliação; um piso ajustado por ruído exige que o ganho supere a variância medida no harness base inalterado; uma regra de custo faz com que tokens extras de inferência precisem ser pagos por ganho medido; e um mecanismo de poda sinaliza para remoção os componentes que deixam de justificar sua existência.
Resultados
Os experimentos evoluem o harness em um conjunto por domínio (coding, agentic workspace e engineering design; oito benchmarks no total) e depois o rodam sem alteração nos demais. A política usada é o Claude Opus 4.8, com mesmas ferramentas, juiz, trials e janela do harness inicial (H0). O RRSI ganha em média +4,0 pontos nos três benchmarks de evolução e +3,4 pontos nos seis benchmarks fora da distribuição, todos os seis com melhora. É o único método cujo ganho cresce fora da distribuição, e supera a média dos métodos anteriores em até 22,9% nos conjuntos reservados.
O método também é mais barato: cerca de 36% menos tokens de política por trial do que a evolução não regularizada, sendo o harness final mais leve do estudo e o único a superar H0 por mais de um ponto. O artigo atribui a leveza às duas regras que atuam diretamente sobre o custo - a regra de custo recusa crescimento não pago no momento da proposta, e a poda remove crescimento que deixou de se pagar.
Os autores disponibilizam um "evolution explorer" interativo com quatro execuções reais, mostrando cada candidato, o parecer do crítico e os diffs entre o harness inicial e o final. O código está no repositório google-research no GitHub, e o trabalho foi publicado como preprint no arXiv.