Mais pré-treinamento em vídeos da web melhora robôs em tarefas reais

O que foi testado

A Rhoda AI investigou se escalar o pré-treinamento em vídeos gerais da web melhora o desempenho de robôs reais em uma tarefa complexa de manipulação, mantendo o resto fixo. O estudo usou modelos Direct Video-Action (DVA): um modelo causal de vídeo pré-treinado em vídeo geral da web, depois pós-treinado com demonstrações de robô; um modelo separado de dinâmica inversa converte quadros previstos em ações. O pré-treinamento usa vídeo geral da web, sem ações e sem foco em manipulação. O modelo de dinâmica inversa foi treinado uma vez em um conjunto multi-robô e mantido fixo. A tarefa era uma aplicação industrial real de desempacotamento de rolamentos e separação de embalagens, com mais de 1000 caixas desempacotadas à mão por dia em um cliente. A caixa pesa 10 kg, o procedimento tem 14 etapas agrupadas em seis subtarefas, e a avaliação usou taxa de conclusão dentro do tempo: a fração de testes concluídos sem intervenção humana e em menos de 100 segundos.

Resultados

No primeiro experimento, quatro modelos de tamanhos crescentes XS, S, M e L foram pré-treinados com a mesma receita e pós-treinados no mesmo conjunto. A taxa de conclusão dentro do tempo subiu 4% → 65% → 75% → 85% para XS → S → M → L. Quatro de seis comparações pareadas se separaram após correção de Holm. O ganho veio principalmente do tempo de conclusão, não da exatidão: modelos maiores acertavam mais na primeira tentativa e retentavam menos; um aumento de erro de separação de resíduos com o tamanho ficou dentro do ruído. O desempenho ainda subia em L, sem saturação.

No segundo, o tamanho foi mantido (M) e variou-se a computação de pré-treinamento: 0,08x, 0,18x, 0,37x e 1x. A taxa subiu 58% → 67% → 74% → 75%, com ganho concentrado no início: nove pontos de 0,08x para 0,18x, sete até 0,37x e um de 0,37x para 1x. No conjunto completo de dados, os três maiores orçamentos empataram. Com menos dados de pós-treinamento, separaram-se: em 25% das demonstrações, a distância entre o maior e o menor orçamento chegou a 31 pontos; em 100%, era 8 pontos; em 12,5%, caiu para 14 pontos, sem fechar. O teste de interação deu p = 0,07. A conclusão dos autores é que mais computação de pré-treinamento ajuda mais quando dados de tarefa são escassos.

Qualidade de pré-treinamento e desempenho

O terceiro resultado usa DINO FD (Fréchet distance) sobre vídeo da web reservado, medido antes do pós-treinamento. Menor DINO FD indica melhor predição de vídeo. Nos sete checkpoints de pré-treinamento (XS, S, quatro orçamentos M e L) pós-treinados com dados completos, a qualidade de pré-treinamento ordenou o desempenho no robô: menor DINO FD, maior taxa de conclusão dentro do tempo, de 4% a 85%. Pontos de tamanho e de computação ficaram intercalados. S e o checkpoint M de 0,08x, próximos em DINO FD, não se separaram no robô (65% e 58%). Com menos dados de pós-treinamento, todos os pontos caíram e a dispersão aumentou até 25%, quando o benefício da melhor pré-treinamento foi maior; em 12,5%, todas as políticas eram ruins e a dispersão voltou a 14 pontos.

Limitações e implicações

Os autores ressaltam que a relação entre DINO FD e desempenho é correlação, não determinação, e cobre sete checkpoints de uma família arquitetural, com um único pós-treinamento por condição e uma tarefa. O estudo usou uma tarefa, um tipo de robô e um setup; cada política custou de 100 a 260 testes reais, exceto XS, interrompido após 27, totalizando mais de 200 horas de avaliação. A varredura de tamanho não foi pareada por computação: modelos maiores também viram mais vídeo e gastam mais computação. O limite de 100 segundos é mais rígido que o requisito do cliente. As sugestões práticas são: usar a qualidade de pré-treinamento para ordenar checkpoints antes de testes no robô; e, se modelos não se diferenciarem com o conjunto completo de demonstrações, subamostrar os dados e comparar de novo, parando antes que todos piorem e as diferenças se comprimam. Conclusão: para uma tarefa industrial, escalar pré-treinamento em vídeo geral da web melhorou as políticas de robô, e a capacidade do modelo de prever esse vídeo acompanhou o desempenho no robô.