RLSVR expande RLVR para tarefas abertas com rewards autogenerados

RLSVR: autoaperfeiçoamento de LLMs em tarefas abertas via recompensas autoverificáveis

O trabalho propõe o RLSVR (Reinforcement Learning with Self-Verifiable Rewards), um paradigma de treinamento que estende o RLVR (Reinforcement Learning with Verifiable Rewards) para tarefas abertas - como sumarização e escrita criativa - onde não existe ground truth. A ideia central é inspirada no aprendizado auto-supervisionado: transformar uma tarefa aberta em um ambiente proxy verificável cujas regras internas geram automaticamente sinais de recompensa.

SpyRL: o jogo multiagente

A instância concreta do RLSVR é o SpyRL, um ambiente de autojogo multiagente inspirado no jogo "Who Is the Spy?". Agentes recebem informações assimétricas, completam a mesma tarefa-alvo e votam para identificar um espião designado. Como a identidade do espião é predeterminada pelo ambiente, os resultados da votação fornecem recompensas totalmente verificáveis - sem necessidade de um verificador externo.

O jogo funciona em dois estágios:

• Performing (clue): os jogadores executam a tarefa (resumir, escrever, criar e resolver problemas de matemática), sendo que o espião recebe uma versão degradada do input (20-40% mascarado).
• Detection (decision): todos votam em quem acreditam ser o espião.

As recompensas são acopladas: a de detecção é binária (acertou ou não quem é o espião), e a de performing é zero-sum entre os papéis, mantendo espião e civis em competição genuína.

Resultados

No Qwen3-8B, o SpyRL atinge 75,4% e 77,3% de taxa de vitória A/B em sumarização e escrita criativa, respectivamente. Em raciocínio matemático, melhora o Qwen3-4B em 8,97% e o Qwen3-8B em 6,16% na média de sete benchmarks. Métodos anteriores de autojogo (R-Zero e Absolute Zero) produzem apenas ganhos marginais nas tarefas abertas.

Um achado importante: ao longo de 100 jogos, jogadores que atraíram mais votos de suspeita foram consistentemente classificados como piores pelo GPT-4o - ou seja, o jogo mede qualidade real sem nunca consultar um juiz externo.

Diferenciais em relação a abordagens anteriores

• Sem necessidade de verificador: a recompensa vem das regras do jogo, não de um solver verificável.
• Julgamento coletivo: um erro de um único detector é compensado pela votação do grupo, sendo mais robusto que pipelines com verificador único.
• Dados baratos: o estágio de performing só precisa de documentos brutos (relatórios, prompts de histórias, textos matemáticos da web). Trocar de domínio significa trocar o corpus.

Aspectos técnicos

O treinamento usa GRPO com learning rate de 1×10⁻⁶, batch efetivo de 1024, grupo de 5 jogadores e 100 iterações em um nó com 8 GPUs (≥80 GB cada). Os checkpoints são liberados no Hugging Face e carregam com transformers padrão. O código é aberto sob licença Apache-2.0, construído sobre o framework verl. O paper foi aceito na COLM 2026.