Guia completo de aprendizado por reforço para LLMs até o GRPO

Papel do aprendizado por reforço

O aprendizado por reforço (RL) é apresentado como um componente importante da evolução dos LLMs: contribuiu para modelos capazes de seguir instruções, para avanços em alinhamento e segurança e para a resolução de problemas complexos de raciocínio. A área também é aplicada a problemas atuais como raciocínio, trabalho de conhecimento, agentes, eficiência no uso de tokens e confiabilidade. A abordagem parte dos fundamentos de RL e acompanha a evolução dos algoritmos de gradiente de política usados no treinamento de LLMs.

Fundamentos e formulação para LLMs

No enquadramento geral, um agente interage repetidamente com um ambiente, escolhendo ações segundo uma política, recebendo recompensas e mudando de estado até formar uma trajetória. O objetivo é maximizar o retorno esperado, isto é, a soma das recompensas, que pode ser descontada por um fator γ ou não. No pós-treinamento de LLMs, costuma-se trabalhar com horizonte finito e γ = 1, porque a recompensa frequentemente é atribuída à trajetória ou à conclusão inteira, embora penalidades de divergência KL e estimativas como GAE possam usar recompensas por token ou desconto.

As funções de valor V(s), ação-valor Q(s,a) e vantagem A(s,a) = Q(s,a) − V(s) descrevem, respectivamente, o retorno esperado a partir de um estado, após uma ação específica e a diferença entre essas duas expectativas. Como esses valores raramente podem ser calculados exatamente, são estimados a partir de trajetórias amostradas. A vantagem pode ser aproximada pela diferença entre o retorno observado e uma linha de base, ou por um crítico: um LLM com uma cabeça escalar que prevê o retorno esperado em cada posição. Diferentemente de um modelo de recompensa, que normalmente produz uma pontuação para a sequência completa, o crítico faz previsões por estado ou token.

No domínio dos LLMs, a política é o próprio modelo, o estado combina o prompt com os tokens já gerados, e a trajetória corresponde à conclusão. A ação pode ser cada token ou a resposta inteira. Na formulação como processo de decisão de Markov (MDP), tokens são ações sucessivas e a transição é determinística, pois cada token é concatenado ao estado. Na formulação de bandido contextual, a conclusão completa é uma única ação que recebe uma recompensa de resultado.

Recompensas, regularização e estabilidade

Recompensas de resultado avaliam a conclusão inteira e são comuns por permitirem verificar sua correção, mas são esparsas. Recompensas de processo são atribuídas em etapas intermediárias e podem melhorar a eficiência da aprendizagem ao permitir uma atribuição de crédito mais granular. No RLHF, um modelo de recompensa aprende com pares de respostas escolhida e rejeitada derivados de preferências humanas. No RLVR, verificadores baseados em regras ou funções determinísticas avaliam, por exemplo, a correspondência exata de respostas matemáticas ou a aprovação de testes de código. Essa abordagem reduz o risco de exploração indevida da recompensa em relação ao uso de modelos neurais e pode favorecer treinamento estável em grande escala.

O treinamento alterna entre gerar conclusões para um conjunto de prompts e atualizar a política com base nessas amostras. A divergência KL é usada para limitar o afastamento em relação a uma política de referência. Ela pode ser subtraída da recompensa ou incorporada diretamente ao objetivo; implementações iniciais baseadas em PPO usavam a primeira abordagem, enquanto a formulação original de GRPO acrescentava a penalidade ao objetivo. Estimadores amostrados como k₁ e k₃ evitam calcular distribuições completas sobre o vocabulário: k₁ é não enviesado, mas pode ter alta variância e valores negativos; k₃ também coincide com a KL em expectativa, é não negativo e tende a apresentar menor variância.

Gradiente de política

Algoritmos de gradiente de política aumentam a probabilidade de ações associadas a resultados melhores. O gradiente da log-probabilidade de uma ação é ponderado por um escore ψₜ, que determina a direção e a intensidade da atualização. O VPG é a forma básica dessa abordagem e pode tratar a conclusão como uma ação única, multiplicando sua log-probabilidade pelo retorno. Porém, pode produzir gradientes de alta variância e não oferece proteção contra atualizações excessivamente grandes. Linhas de base, retorno a partir do estado atual, vantagens e mecanismos de região de confiança são usados para reduzir a variância ou limitar a magnitude das mudanças. Quando a política que gerou as amostras difere da política atual, a amostragem por importância corrige o descompasso, embora seu truncamento ou recorte troque algum viés por menor variância e maior estabilidade.