Qwen lança modelo omnimodal com contexto de 1 milhão de tokens

O lançamento

A Qwen anunciou o Qwen3.8-Omni-Flash, um modelo omnimodal nativo de nova geração com janela de contexto de 1 milhão de tokens, que aceita entradas de texto, imagem, áudio e vídeo. O objetivo declarado é fortalecer capacidades agênticas em cenários reais de produtividade, avançando os modelos omnimodais de "entender conteúdo" para "planejar tarefas, chamar ferramentas e completar trabalho criativo". O modelo já está disponível na plataforma da Qwen, com APIs padrão compatíveis com OpenAI e um parâmetro reasoning_effort (xhigh, medium e low) para ajustar profundidade de raciocínio e custo.

Desempenho e preços

Segundo a Qwen, o modelo mantém desempenho textual comparável a um modelo só de texto do mesmo porte e melhora em mais de 25% a pontuação média em 29 avaliações em relação ao Qwen3.5-Omni-Plus. Em benchmarks agênticos, avança 36,5 pontos no WildClawBench-MM e 22,3 no AgenticVBench, com 69,6 no UniClawBench. No reconhecimento multilocalizadores, o AliMeeting caiu de DER 88,11 / cpWER 89,61 para 3,35 / 17,18. A empresa afirma que o desempenho audiovisual se aproxima do Gemini 3.8 Flash e que o desempenho de áudio geral o supera - comparações divulgadas pelo próprio laboratório.

Nos preços, o custo por hora de entrada de áudio cai mais de 98%, e o de entrada audiovisual cai mais de 93% em relação ao modelo anterior. A metodologia divulgada estima o preço por hora como 30 vezes o custo de dois minutos de material, com áudio-visual em 720p a 1 fps.

Compreensão audiovisual longa

O modelo introduz legendagem audiovisual controlável: o usuário especifica assunto, intervalo de tempo, nível de detalhe e formato de saída. No modo agêntico, o modelo decide de forma independente o que assistir e ouvir, localizando evidências em múltiplas rodadas de busca grossa a fina. No OmniVideoBench, isso elevou a precisão de 63,4 para 67,8 e reduziu o consumo de tokens por consulta de 145.736 para 79.117, cerca de 45,7% menos.

Para reuniões de até uma hora, o modelo reconhece locutores de forma conjunta em áudio e vídeo, transcreve, alinha identidades e pode gerar atas, itens de ação e análise de riscos, chegando a enviar e-mails ou iniciar tarefas de código. Também pode conduzir pesquisa aprofundada centrada em vídeo, buscando fontes multimodais na web e gerando relatórios ilustrados.

Produção e edição audiovisual

Entre os fluxos agênticos de ponta a ponta estão o Music2MV, que analisa estrutura, ritmo e letra de uma música para criar videoclipes com legendas sincronizadas; a tradução de novelas curtas, com reconhecimento de falantes, clonagem de voz e remixagem em um único fluxo; e comentários de filmes longos, em que o agente extrai trechos-chave, escreve narração, produz voz e música e edita o resultado a partir de uma frase de descrição.

O modelo também foi aplicado ao próprio desenvolvimento de modelos: com a tarefa de melhorar o reconhecimento de fala em dialeto Sichuan do Qwen2.5-Omni-3B em 12 horas, o agente criou 3.413 exemplos de treino em quatro rodadas e reduziu a taxa de erro de caracteres de 25,79% para 15,30%, queda relativa de cerca de 40,7%.

Plugins, tempo real e localização espacial

A Qwen ampliou o Qwen-MM-Plugins, de código aberto, com percussão sob demanda e execução de fluxos para áudio e vídeo longos, incluindo Video2Note (notas em PDF a partir de vídeos) e Omni Skill Creator, que extrai procedimentos operacionais padrão de demonstrações para virar habilidades reutilizáveis de agente. O Qwen-Live Harness também foi aberto como runtime para interação contínua em tempo real.

A variante Qwen3.8-Omni-Flash-Realtime processa transmissões ao vivo com baixa latência - tempo até o primeiro token entre 591 e 981 ms conforme a entrada - e suporta injeção de conhecimentos de negócio via Skills. O modelo combina som espacial com visão para determinar direção e distância de fontes sonoras, sendo apresentado como o primeiro modelo omnimodal capaz de localizar alvos pelo som, com planejamento de caminho e navegação. O reconhecimento de fala cobre 74 idiomas e 39 dialetos chineses; a geração cobre 29 idiomas e 7 dialetos.