Dyna-2 usa 1 milhão de horas de vídeo para robôs zero-shot

A Dyna Robotics apresentou o Dyna-2, um world-action model (WAM) pré-treinado em mais de 1 milhão de horas de vídeos egocêntricos de humanos executando tarefas de manipulação - aproximadamente 170 anos de experiência contínua. A pesquisa investiga se existe uma scaling law para modelos de mundo-ação nessa escala e, principalmente, se dados humanos conseguem melhorar previsões em robôs nunca vistos durante o pré-treinamento.

Modelo e arquitetura

O Dyna-2 é um único modelo generativo baseado em difusão de vídeo que pode prever, de forma conjunta ou separada, vídeos futuros e ações futuras. A arquitetura combina transformers especializados para cada modalidade: tokens de vídeo usam máscara causal, tokens de ação usam autoatenção bidirecional e atendem aos tokens de vídeo observados, e instruções em linguagem influenciam o vídeo por cross-attention, sem impacto direto nos tokens de ação. O treinamento usa flow matching, com perdas separadas para vídeo e ação compartilhando parte da rede.

Scaling laws com dados humanos

A empresa construiu subconjuntos aninhados de exatamente 1.000, 10.000, 100.000 e 1.000.000 de horas, mantendo sempre a mesma proporção de fontes. A avaliação em dados humanos retidos mostrou melhora monotônica em todas as métricas: MSE, L1, [email protected] e [email protected]. O MSE cai de 0,062 para 0,054 horas de 1k para 1M, enquanto [email protected] sobe cerca de 51% nessa faixa.

Transferência humano-robô

O resultado mais destacado é a existência de uma scaling law de transferência entre humanos e robôs: modelos treinados apenas com vídeo humano melhoram previsões offline em 39 tarefas robóticas de plataformas YAM que nunca viram durante o pré-treinamento. A MSE zero-shot cai de 0,180 para 0,117 entre 1k e 1M de horas, e a [email protected] sobe de 0,067 para 0,159. A Dyna afirma ser a primeira demonstração de uma lei de escala atravessando a lacuna de embodiment sem adaptação prévia.

Desempenho real após pós-treinamento

Após pós-treinamento com poucas horas de dados robóticos, o desempenho físico acompanhou a tendência offline. Em 14 tarefas, a média normalizada subiu de 20% no modelo treinado com 1k horas para 53% no de 1M horas. Um caso extremo foi Lockbox Key Turning: nenhum checkpoint até 100k horas conseguia girar a chave, enquanto o modelo de 1M alcançou 90% de sucesso. Já Bottle Cap Untwisting foi ajustado com apenas cerca de 10 minutos de teleoperação e subiu de 10% para 50% conforme a pré-escala aumentava.

Vídeo como eixo de escala

Experimentos controlados mostram que prever vídeo futuro é essencial para a transferência cross-embodiment. Treinamento apenas com ação apresentou overfitting severo e não escalou bem. O co-treinamento com vídeo, especialmente usando grandes volumes de vídeo sem rótulos de ação, foi o principal responsável pela melhora na generalização para robôs. Em outras palavras, vídeo sem anotação de pose de mão também se torna um eixo útil de escala.

Comparação com VLA e implantação zero-shot

Em comparação direta com o modelo anterior Dyna-1, uma arquitetura VLA, uma versão inicial do Dyna-2 alcançou 1,55× a taxa de sucesso e 1,12× a nota média em sete tarefas, vencendo 65% dos comparativos diretos. Em implantação zero-shot em sites de clientes, o Dyna-2 atingiu 87% de aprovação sob critérios de produção, contra 46% do Dyna-1, enquanto ambos ficaram próximos de 100% em testes internos. O modelo também mostrou maior robustez a mudanças de iluminação, perda parcial de entrada visual e perturbações durante tarefas como cortar vegetais.

Seguimento de instruções

O artigo ainda associa a previsão de vídeo a melhor seguimento de linguagem. Em tarefas como empurrar/puxar blocos, separação de objetos e manipulação de guardanapos, a pontuação de linguagem subiu de 0,35 no treinamento action-only para 0,67 com co-treinamento de vídeo no corpus inicial e chegou a 0,96 no Dyna-2 completo.