Caminho para pós-treinamento universal em robótica com RL estável
Robôs precisam de confiabilidade, não só de demos
Perry Dong e Chelsea Finn argumentam que a robótica de fronteira está no mesmo ponto em que a modelagem de linguagem estava na época do GPT-2: modelos pré-treinados - VLAs (modelos visão-linguagem-ação) e WAMs - já executam comportamentos complexos, mas não são confiáveis o bastante para operar autonomamente. Um robô que acerta 95% das vezes ao lavar louças quebrará algo toda semana em uma casa real. A saída, no caso dos LLMs, foi o pós-treinamento (ajuste fino supervisionado, RLHF e RL com recompensas verificáveis) convertido em uma receita padronizada que qualquer equipe pode seguir. Na robótica, RL ainda é um ofício restrito a poucos, não uma receita.
Por que RL de robótica difere do RL de LLMs
O RL que funciona em escala para LLMs é on-policy: gerar amostras em massa é barato, e verificar respostas (como no Go do AlphaGo) é gratuito. Na robótica, dados são caros: um robô não pode testar mil ações por passo de controle, tarefas simples podem envolver 500 decisões encadeadas, a recompensa chega só no fim, e o ambiente é estocástico - o mesmo comando pode produzir comportamentos ligeiramente diferentes. Isso empurra o campo para o RL baseado em valor, que atribui crédito ao longo de horizontes longos, mas foi validado em escala muito menor.
Limites das abordagens existentes
Métodos clássicos como DDPG, TD3 e SAC assumem políticas com distribuição Normal, enquanto modelos modernos usam difusão para gerar ações multi-modais (segurar uma xícara pelo cabo ou pela base são ambos corretos). Além disso, o RL baseado em valor é instável porque aprende parcialmente prevendo as próprias previsões futuras, e esse erro se agrava em modelos bilionários. Linhas de trabalho existentes - retropropagar o gradiente pela cadeia de denoising, selecionar a melhor ação candidata via função de valor, ou buscar no espaço de ruído - ou são instáveis, ou não atualizam os pesos do modelo, limitando o ganho ao que o modelo já sabia no pré-treinamento.
EXPO(-FT): a proposta dos autores
Os autores apresentam o EXPO-FT, testado em robôs reais em seis tarefas de manipulação (enfiar pisca-pisca em ganchos e ligá-lo, dar uma tacada de sinuca, inserir uma flor no gargalo de uma garrafa, virar um ovo). O sistema usa uma política de edição leve, treinada com RL, que faz pequenos ajustes limitados nas ações do modelo pré-treinado; a função de valor escolhe a melhor entre as candidatas editadas. Como os ajustes são pequenos, a volatilidade do RL fica confinada ao modelo pequeno, e as melhorias bem-sucedidas são absorvidas de volta nos pesos do modelo grande. Um humano supervisiona e pode intervir, e essas intervenções retornam ao treinamento.
Resultados: EXPO-FT alcança 30/30 de sucesso em média nas seis tarefas usando cerca de 19 minutos de interação online, contra 18,8 para ajuste supervisionado do π0.5, 20,5 para HG-DAgger, 19 para DSRL e 5,5 para HIL-SERL.
O que fica em aberto
Os próprios autores listam limitações: há um humano intensivamente no laço (definir sucesso, reiniciar a cena, intervir); horizontes mais longos pressionam a função de valor, já que o teste cobriu apenas horizontes curtos; e o custo computacional é alto - os 19 minutos de interação não são 19 minutos de pós-treinamento, pois as atualizações de gradiente dominam o tempo.
Protocolos padrão como segunda metade da receita
Falta a padronização que os LLMs tiveram: especificação de recompensa (a robótica não tem equivalente ao RLVR; detectores de sucesso atuais são feitos à mão ou avaliados por humanos), resets entre episódios (ou sua eliminação), uso do humano no laço, ajuste de hiperparâmetros e inicialização de tarefa e política. Nenhum desses itens tem resposta padrão, e os autores defendem que convergir para defaults compartilhados - uma receita universal de pós-treinamento - é o caminho para tornar a robótica de fronteira implantável em escala, com confiabilidade ainda maior que a exigida dos LLMs, já que ações físicas erradas não passam por revisão humana.