Dream-RSI propõe autoaperfeiçoamento recursivo para IA via mundos evolutivos

O artigo Dream-RSI: Recursive Self-Improvement through Evolving Worlds, publicado no arXiv (2609.14858), propõe uma estrutura para exploração escalável e autoaperfeiçoamento recursivo em agentes autônomos de IA.

O ponto de partida é um dilema dos sistemas atuais: estratégias de exploração fixas não se adaptam conforme o espaço de busca cresce, enquanto a otimização de política online exige navegar vastos espaços de meta-busca com feedback tardio e caro em rollouts de horizonte longo. O gargalo central do autoaperfeiçoamento é gerenciar e melhorar a exploração.

A proposta do Dream-RSI tem dois componentes principais. Primeiro, uma camada de orquestração leve torna a exploração explícita e programável, sem alterar o agente de código subjacente. Segundo, a ideia-chave: o histórico acumulado de descobertas pode servir como um simulador de replay sobre o espaço de busca já realizado. Ao realizar "sonhos" (dreaming) nesse simulador, construído a partir de árvores históricas de descoberta, o sistema obtém feedback off-policy imediato e de baixo custo para avaliar e refinar políticas de exploração, evitando avaliações online repetitivas e caras.

O ciclo se fecha quando a política aprimorada é reimplantada online para gerar novas descobertas, que expandem continuamente o pool do simulador, formando um laço de autoaperfeiçoamento.

Nos experimentos, o framework foi avaliado em três domínios: engenharia de algoritmos, otimização matemática e engenharia de kernels de GPU. O artigo relata que o Dream-RSI alcança qualidade de descoberta competitiva ou melhorada, com redução substancial do custo de descoberta em vários cenários.

O repositório de código está disponível publicamente como zhengkid/dream-rsi, com página de projeto em www.dream-rsi.com. Entre os métodos listados estão Offline RL e Recursive Self-Improvement, e a organização associada é o Google.