
NVIDIA VFlash gera trajetórias e movimento 3D em paralelo, não token a token
Tese e problema
O texto apresenta o VFlash, um framework de decodificação da NVIDIA para o que chama de visual planning em Physical AI: planos visuais como caixas, trajetórias 2D/3D e movimento denso, usados por robôs e veículos autônomos. Segundo a fonte, modelos incorporados não precisam pensar apenas em texto; podem também raciocinar por planos visuais. O problema apontado é que a geração autoregressiva de tokens de coordenadas torna planos detalhados cada vez mais caros, justamente quando agentes precisam atualizá-los continuamente.
Método
A proposta adapta speculative decoding para VLMs com base em uma ideia central: a estrutura conhecida dos primitivos visuais (pontos, caixas, trajetórias) pode ser usada para obter precisão espacial sem reproduzir exatamente os tokens do alvo autoregressivo. O mecanismo, chamado Flash Primitive Decoding, funciona assim: uma tool call declara o número de saídas e o tipo do primitivo, que define o layout das coordenadas; um drafter leve, com cinco camadas transformer não causais, usa o contexto congelado do VLM alvo para prever o primitivo inteiro em uma única passada paralela. O texto de subtarefas é decodificado de forma especulativa e verificado pelo VLM alvo, em blocos de 16 posições.
A fonte aponta três achados. Primeiro, o alinhamento de fronteira: blocos de treino e decodificação devem coincidir com os limites completos do primitivo, em vez de janelas fixas de tokens. Segundo, o alinhamento de posição: cada posição de saída precisa de um papel conhecido antes da predição paralela, o que se obtém com tokens de coordenadas dedicados ou campos numéricos de largura fixa. Terceiro, o drafter é treinado sobre geometria anotada, com entropia cruzada por token, sem exigir concordância token a token com o alvo.
Resultados de precisão
Segundo a fonte, o VFlash reduz as seis métricas de erro de trajetória em ShareRobot-Bench e VABench-V em relação à decodificação autoregressiva. Em três conjuntos de dados de robôs e três variantes do alvo, o erro médio de deslocamento 3D (ADE) cai 42,6% frente ao alvo AR. O texto também cita erro de waypoints 3D de até 61% menor em relação ao alvo AR. Em movimento denso com MolmoMotion-AR congelado, o erro médio de deslocamento no DAVIS cai 27%, com qualidade geral comparável; a geração de um único rollout é cerca de 25× mais rápida em H100 com batch size 1. Em detecção de caixas (COCO e Dense200), a fonte relata 2,6 a 2,8× mais caixas por segundo, com F1 médio próximo ao do alvo AR.
Impacto em controle de robôs
Os planos visuais também são testados como entrada para políticas de ação. Em MolmoSpaces, um world action model baseado em Cosmos-Predict2.5 atinge 70,2% de sucesso médio com planos VFlash, contra 62,6% da linha de base e 61,0% com planos AR 2D+3D. Com as features de imagem no lugar das de trajetória, o sucesso cai para 63,7%, o que o texto usa para sustentar o valor da geometria visual além da linguagem. Na suíte LIBERO, com cabeça de ação por difusão, a fonte afirma ganhos mesmo sob perturbações (LIBERO-PRO e LIBERO-Plus), sem detalhar números neste trecho.
Direção e latência
Em condução autônoma, com um VLM de planejamento congelado e uma cabeça de ação derivada de ReCogDrive, o VFlash obtém desempenho competitivo em NAVSIM e Waymo, segundo a fonte. Os resultados de qualidade listados mostram PDMS de 90,7 no NAVSIM, empatado com Qwen-Drive-1.0-RL, e RFS de 7,86 no Waymo, abaixo de 7,91 do mesmo modelo.
A fonte atribui a maior parte da latência ao decodificador autoregressivo: 75 a 87% do tempo medido no estágio do modelo no Jetson Thor. Com VFlash, esse estágio fica 12 a 42× mais rápido, o que, segundo o texto, resulta em inferência de robô 5× mais rápida no Thor e no DGX Spark. Os ganhos de latência são medidos com batch size 1, em runtimes TensorRT-Edge-LLM customizados, e não incluem carregamento de modelos, aquecimento nem latência completa de sensor a atuador.
Ressalvas
Os números são de um relatório técnico e de condições específicas de hardware, precisão FP16 e amostragem reduzida, como 24 registros de robô e cinco registros de condução. O próprio texto declara que as medições são de latência do pipeline de modelo, não do sistema completo.