Sistema open source DAPO atinge estado da arte em RL para LLMs

O que foi lançado

A ByteDance Seed e o Tsinghua AIR publicaram o DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization), um sistema totalmente open source para aprendizado por reforço (RL) em larga escala com LLMs. O repositório no GitHub inclui o algoritmo, a infraestrutura de código e os conjuntos de dados, com base no framework verl. Segundo os autores, o objetivo da abertura completa é dar à comunidade de pesquisa acesso prático a RL escalável.

Resultados

O modelo DAPO-Qwen-32B, treinado a partir do Qwen2.5-32B base, atinge 50 pontos no AIME 2024, superando o estado da arte anterior, o DeepSeek-R1-Zero-Qwen-32B, com apenas 50% dos passos de treinamento. Uma versão anterior do sistema, sem Token-level PG Loss e Dynamic Sampling, alcançou 44 pontos no mesmo benchmark, com registro de treino disponível no wandb; o checkpoint completo com 50%+ também foi liberado com seu respectivo registro.

Estabilidade do treinamento

O README descreve três indicadores monitorados durante o treino:

• Comprimento das respostas: o crescimento constante permite maior exploração e facilita comportamentos de raciocínio mais complexos, contribuindo para estabilidade e desempenho.
• Recompensa: o aumento estável do sinal de recompensa indica que o modelo está ajustando-se bem à distribuição de treino, sem flutuações significativas.
• Entropia e probabilidade média: após queda inicial, a entropia sobe de forma controlada, equilibrando exploração e exploração e evitando overfitting ou aleatoriedade excessiva.

Reprodutibilidade

O projeto oferece scripts prontos para reprodução: preparação dos dados, treinamento da versão sem Token-level PG Loss e Dynamic Sampling (44 pontos no AIME 2024, verificado no verl atual) e treinamento completo (50 pontos, validado na versão mais recente do verl). Os dados incluem o DAPO-Math-17k para treino e o AIME 2024 para validação.

Uso e avaliação

Os pesos do DAPO-Qwen-32B estão disponíveis no Hugging Face. A inferência pode ser feita com transformers e vLLM (exemplo no README usa temperatura 1.0, top_p 0.7 e até 20.480 tokens, com tensor parallel de 8 GPUs). Para avaliação no AIME 2024, o modelo é servido com Ray Serve e vLLM, acompanhado do script eval_aime24.py. Os experimentos abertos foram executados na Volcano Engine Machine Learning Platform, e os autores prometem um guia completo de reprodução na plataforma. O repositório, criado em 2025, conta com cerca de 1,9 mil stars e 91 forks, e os autores convidam discussões por meio de issues.