Qwen-Drive: modelo visão-linguagem open-source para direção autônoma

O que é o Qwen-Drive-1.0

A equipe do Qwen, em parceria com a Huazhong University of Science and Technology, lançou o repositório do Qwen-Drive-1.0, descrito como um passo inicial rumo a um modelo fundacional visão-linguagem para direção autônoma. O modelo retém a arquitetura do Qwen3.5 visão-linguagem pré-treinado - especificamente o Qwen3.5-4B, multimodal nativo - como VLM compartilhado, e integra percepção 3D, resposta a perguntas visuais (VQA) e planejamento de movimento em um framework único.

Dois módulos externos são acoplados ao VLM: um cabeça de percepção BEV que realiza conjuntamente detecção 3D de objetos, predição de ocupação semântica e segmentação de mapa BEV, funcionando também como uma sonda inspecionável da informação 3D acessível nas representações compartilhadas; e um Planning Expert, que condiciona-se às representações do VLM para gerar trajetórias futuras do veículo. O decodificador LLM do VLM original permanece inalterado e continua capaz de atender tanto VQA geral quanto VQA de direção.

Treinamento e pipeline de dados

A equipe propõe uma estratégia de treinamento em estágios que combina objetivos de percepção, linguagem e planejamento. Ao unir supervisão específica de direção com dados gerais visão-linguagem, o modelo ganha competência especializada em direção mantendo compreensão visual ampla e capacidade de seguir instruções. O pipeline de dados unificado: mapeia anotações de percepção heterogêneas para um espaço de rótulos comum; reanota respostas de VQA de direção para garantir consistência de formato e fatos; e padroniza trajetórias de múltiplos conjuntos públicos de direção em uma representação unificada de waypoints.

Resultados

Em planejamento, o Planning Expert treinado com imitação (SFT) atinge 88,2 de PDMS no NAVSIM v1.1 navtest (89,3 com best-of-6), subindo para 90,7 (91,4 best-of-6) após otimização por reforço (RL). No Waymo Open Dataset E2E test, RFS de 7,78 (SFT) e 7,91 (RL); no NVIDIA PhysicalAI open-loop, minADE de 3 s é 0,34 m (SFT) e 0,38 m (RL).

Em VQA de direção, o Qwen-Drive-1.0-SFT alcança 77,8 no LingoQA (79,4 sob o protocolo oficial LingoJudge, que a equipe considerou menos criterioso - usaram Qwen-Plus como juiz), 66,1 no SURDS, 41,3 no CoC all e 71,0 no conjunto interno chinês de decisões urbanas (IH), superando comparadores como InternVL3.5-8B-Instruct, LLaVA-OV2-8B, modelos Cosmos-Reason, MiMo-Embodied-7B e Alpamayo-1.5-10B. O modelo também melhora sensivelmente sobre sua base Qwen3.5-4B em compreensão de cena de direção, mantendo desempenho próximo em benchmarks gerais como MMBench (85,5), MMMU (72,7) e OCRBench (86,4). As comparações foram reproduzidas sob um mesmo protocolo com decodificação quase determinística.

Disponibilidade e uso

Os pesos podem ser baixados do Hugging Face ou ModelScope sob licença Apache 2.0. Tudo vem em um único diretório de 9,1 GB: o VLM na raiz (serve o modo VQA sozinho), planner-sft (2,1 GB), planner-rl (2,1 GB) e o cabeça de percepção (0,5 GB). O planner-rl foi otimizado por recompensa apenas em rollouts condicionados a raciocínio, então deve rodar no modo de planejamento com raciocínio; o planner-sft cobre os dois modos. Recomenda-se GPU com 24 GB ou mais de memória. O repositório inclui cenas de demonstração (cruzamento noturno com sinal verde, conversões à esquerda e à direita, redução de velocidade ao passar por caminhão estacionado), scripts de demo e documentação cobrindo arquitetura, formatos de dados, protocolos de avaliação e percepção. Um relatório técnico está disponível no arXiv.