Método Never Give Up força RL de LLMs a persistir em problemas difíceis

O que o eval realmente mede

Em um post sobre seu artigo de RL para pós-treinamento de LLMs, Michael Noukhovitch descreve uma descoberta feita ao treinar o Olmo 3.1 RL-Zero Math com AIME 2025. A curva média do eval subia, mas ao dividir as 30 questões por dificuldade inicial - definida pelo pass@32 do modelo pré-RL - o quadro mudava: problemas fáceis melhoravam drasticamente, enquanto questões com pass@32 igual a 0 no início permaneciam praticamente sem solução. A média escondia que a maioria dos ganhos vinha de problemas já razoavelmente resolvidos.

O autor chama esse fenômeno de Efeito Matthew, em referência ao conceito de Merton (1968) - "os ricos ficam mais ricos" - aplicado ao RL para LLMs: o RL melhora o desempenho de uma tarefa em proporção à competência inicial do modelo, facilitando o que já era fácil enquanto os problemas difíceis raramente se tornam resolvíveis. O padrão também aparece fora da matemática: ao analisar logs de RL de código (Deepcoder, com Deepseek-R1-Distilled-Qwen-14B no LCBv6) e RL agentic (DeepSWE, com SWEBench), os ganhos continuaram proporcionais à facilidade inicial dos problemas.

O que causa o efeito

A hipótese óbvia seria o signal loss do GRPO: se nenhuma das k amostragens está correta, não há gradiente. Mais k resolveria isso? Em experimentos com Qwen 2.5 0.5B Instruct no GSM8k platinum, variando k de 4 a 32 com batch fixo, k=4 foi o melhor para problemas difíceis. A explicação está na composição do lote de treinamento: k grande aumenta a chance de achar uma solução correta rara para um problema difícil, mas também a de achar uma solução incorreta rara para um problema fácil, desperdiçando compute treinando sobre ruído. Em certo ponto (por volta do passo 200), o custo de treinar respostas erradas de problemas fáceis supera o benefício de achar respostas raras para problemas difíceis. O autor conclui que o problema não é apenas subamostragem de problemas difíceis, mas gasto excessivo de compute nos fáceis - o que ele nomeia de signal efficiency, em contraste com signal loss.

Never Give Up

A solução proposta, Never Give Up (NGU), adapta a amostragem de RL assíncrono: começa com um k pequeno; se o prompt for resolvido ou totalmente resolvido dentro das k amostragens, treina ou filtra rapidamente. Se todas as amostragens estiverem erradas, com probabilidade p o prompt volta ao gerador para mais k amostragens, acumulando todas até resolver. Isso cria uma distribuição geométrica, com k/(1-p) amostragens esperadas. O método é implicitamente adaptativo - em vez de um currículo pré-fixado, ajusta-se online, já que a dificuldade percebida dos problemas muda ao longo do treinamento. No GSM8k, k=4 com NGU (p=0.9) supera todas as configurações de GRPO com k variado, especialmente no subconjunto mais difícil.

Detalhes de implementação: múltiplas rodadas tornam as amostragens antigas obsoletas (stale), e amostragens negativas obsoletas são particularmente prejudiciais, exigindo filtragem por idade (T=4 funcionou melhor). Para o baseline do GRPO, o autor argumenta que vale usar todas as amostragens, mesmo as não treinadas, recalibrando as vantagens para manter o total de recompensa em zero.

Escala: matemática e código

Num setup maior de matemática (DeepScaler com Qwen 3 4B base, cerca de 120 horas de H100), NGU sobre o baseline GRPO k=16 melhora os subconjuntos mais difíceis de AIME 2025 e BRUMO 2025 sem degradar os fáceis.

Em código, a dinâmica difere: um problema tem vários testes de dificuldades variadas, e resolver o problema exige passar em todos. No benchmark Manufactoria, o GRPO padrão estagna - testes fáceis ficam quase totalmente resolvidos, mas o sinal de treinamento oscila entre testes de média dificuldade parcialmente resolvidos. NGU resolve isso recusando as próximas k amostragens que não superem o melhor resultado anterior, empurrando o modelo a melhorar iterativamente até passar em todos os testes.

Não é plasticidade

O autor conecta o Efeito Matthew ao primacy bias do RL profundo (Nikishin et al., 2022), mas testa e descarta a plasticidade como causa: partindo de um checkpoint estagnado do GRPO, tanto mudar a recompensa para só valer com todos os testes aprovados quanto usar NGU com recompensa parcial recuperam o desempenho, mostrando que LLMs podem se recuperar de amostras iniciais ruins.

Limitações e conclusão

NGU depende de realocar compute filtrando rapidamente problemas fáceis; em distribuições dominadas por problemas muito difíceis, deve ser menos eficaz, e o ciclo de amostrar-esperar-amostrar gera amostras mais off-policy no início. O autor conclui que o Efeito Matthew mostra que médias escalares podem ser insuficientes para avaliar LLMs, e sugere investigar ambientes agentic de múltiplos passos e entender melhor como o RL muda a distribuição do modelo.