stamatios
← Voltar ao feed
Globo de vidro flutuando sobre volante de simulador de direção, metáfora dos modelos Cosmos 3 da NVIDIA
Open Source · IA & Modelos

NVIDIA lança quatro modelos abertos Cosmos 3 para simulação de mundo

resumo de ~3 min

Quatro checkpoints para simulação de mundo

A NVIDIA acrescentou quatro novos checkpoints de pesos abertos à família Cosmos 3, voltados à geração de simulações interativas de mundo e de cenas de condução com múltiplos sensores e vistas. Os quatro são versões pós-treinadas do Cosmos 3 Nano, com 16B de parâmetros treináveis, e usam a licença OpenMDW1.1, que permite uso comercial e não comercial nos termos dela.

  • Cosmos3-Nano-Transfer-Auto: gera dados de condução multivista offline, com variações de clima, iluminação e hora do dia.
  • Cosmos3-Nano-Sim-Auto: transmite observações de câmera e LiDAR sincronizadas para simulação de condução.
  • Cosmos3-Nano-Sim-Transfer: transforma controles de um simulador e um prompt de texto em vídeo fotorrealista.
  • Cosmos3-Nano-Sim-Bimanual: prevê vídeo a partir de ações de robô ou de câmera.

Segundo a publicação, a proposta é oferecer formas complementares de construir ambientes para aprendizado e avaliação de políticas. O Sim-Bimanual prevê consequências visuais de ações, enquanto o Sim-Transfer converte controles de um simulador físico em observações geradas.

Condução autônoma

O Transfer-Auto é um modelo bidirecional que gera vídeo sincronizado em até 11 câmeras, incluindo lentes olho de peixe, e permite geração conjunta de RGB e LiDAR. Controles por câmera, chamados de World Scenario Map (WSM), definem a estrutura da cena e o movimento do tráfego, enquanto o texto orienta a aparência. Um mapa HD de alcance alinhado aos controles de câmera é usado na geração de LiDAR.

O Sim-Auto é a variante de streaming, obtida por destilação causal do Transfer-Auto. Ele gera pequenos blocos sucessivos em poucos passos de remoção de ruído, usando o histórico gerado. A publicação esclarece que a interação em malha fechada exige um runtime de simulação e um renderizador WSM que atualizem os controles a partir das entradas de condução.

Simulação e robótica

No Sim-Transfer, o simulador calcula movimento, contatos e estado físico, e o modelo gera as cores a partir de controles espaciais como profundidade, segmentação, bordas e desfoque. A fonte afirma que o texto guia a aparência, mas física e estado de verdade permanecem com o simulador.

O Sim-Bimanual simula a evolução do ambiente em resposta às ações de um robô de dois braços, com suporte aos corpos YAM e AgiBot, controlados por política ou joystick. O exemplo de ações mistas usa 59 valores de controle, preenchidos até 64 no treinamento. A publicação lembra que o esquema de ações define referências de coordenadas, rotações, calibração da garra e domínios de controle, e que T transições exigem T+1 observações.

Como funciona o streaming

O backbone Mixture-of-Transformers conecta redes separadas de processamento de texto e de geração visual por atenção. O gerador prevê cada segmento curto a partir do prompt, dos controles disponíveis e do histórico gerado. A atenção temporal-causal lê o histórico e os controles, mas bloqueia observações futuras, e um cache de chave e valor mantém a informação para a próxima previsão.

O modelo opera sobre representações comprimidas chamadas latentes. Segundo o texto, cada passo temporal latente representa quatro frames RGB depois da imagem inicial. O Transfer prevê um passo por bloco, enquanto a configuração otimizada do Bimanual, descrita no relatório técnico, prevê dois. Blocos menores permitem que novos controles influenciem a geração com mais frequência.

Receita de treinamento e adaptação

A receita tem quatro estágios. No estágio 0, o modelo aprende o domínio a partir de clipes completos. No 1, prevê cada bloco com teacher forcing, mascarando a resposta limpa e os alvos futuros. No 2, um professor congelado treina um aluno que gera cada bloco em quatro passos. No 3, o treinamento usa o histórico gerado pelo próprio aluno, com um professor congelado e um modelo auxiliar de score como sinal de distribuição. Segundo a fonte, esse último estágio existe porque um pequeno erro de previsão pode virar contexto para quadros seguintes, e os erros podem se acumular.

Para adaptar os modelos a dados próprios, a publicação recomenda começar pelo pós-treinamento do Transfer-Auto com os dados do sensor e do domínio. Também indica manter checkpoints completos de treinamento para retomar execuções, já que os pesos exportados para inferência omitem o estado do otimizador. O texto ressalta que uma execução curta bem-sucedida verifica apenas a execução, não a convergência, e que a qualidade deve ser avaliada em episódios reservados.

Requisitos e limites

A execução exige Linux, GPU NVIDIA, Docker e NVIDIA Container Toolkit. A configuração de vLLM-Omni foi testada em uma GB200, mas a fonte diz que isso não é uma especificação mínima de memória. Os autores afirmam que os problemas seguem difíceis e que o trabalho futuro inclui medir onde os modelos sustentam de forma fiel o aprendizado e a avaliação de políticas, entender seus limites e melhorar onde ficam aquém.