Qwen lança modelo de tradução ao vivo com separação de falantes

Anúncio

A Qwen lançou o Qwen3.8-LiveTranslate, um modelo de tradução simultânea ao vivo que, segundo a empresa, reconstrói a interpretação em tempo real com uma arquitetura Interleave, melhorando fidelidade, fluência e concisão e reduzindo o atraso médio (LAAL) de 2,8 segundos para 2,3 segundos em relação à geração anterior.

Principais recursos

Além do suporte a 60 idiomas, o modelo ganha três capacidades: separação de falantes em tempo real, com atribuição clara de cada frase e clonagem de voz mais estável; saída sincronizada de fonte e tradução em uma tela bilíngue, que serve de base para recursos futuros como legendas e recuperação de conteúdo; e desambiguação de contexto longo, que usa o histórico da conversa para tornar nomes próprios e terminologia mais precisos.

Arquitetura

O modelo adota um design Thinker–Talker em dois módulos baseado em Hybrid-MoE. O Thinker organiza vídeo, áudio, texto de origem e tradução em uma única sequência causal intercalada em ordem temporal, produzida de ponta a ponta. O Talker combina a tradução e o áudio de origem para sintetizar a fala preservando o timbre do falante original.

Desempenho

No Omnilingua-MSpeaker, conjunto de avaliação de áudio longo com múltiplos falantes que cobre 14 direções de idioma, o modelo supera sistemas de interpretação em tempo real em quatro dimensões: fidelidade, fluência, concisão e taxa de erro de diarização (DER). No conjunto público FLEURS, avaliado em 70 direções de idioma, a empresa afirma liderança sobre a geração anterior e sistemas concorrentes em qualidade de tradução, atraso médio, precisão de reconhecimento de fala e qualidade de síntese.

Idiomas e API

O modelo aceita áudio de entrada e texto de saída em 60 idiomas e áudio de saída em 29 idiomas. A tradução está disponível via DashScope, com exemplo completo de cliente em Python: um modelo flash-realtime recebe áudio do microfone via WebSocket e retorna tradução em texto e voz; a separação de falantes e a saída sincronizada de fonte e tradução são ativadas por configuração de sessão, sem necessidade de chamar uma interface de ASR separada. Também é possível enviar quadros de imagem como contexto visual e registrar hotwords para nomes próprios.

Próximos passos

A Qwen indica três direções futuras: comprimir ainda mais a latência ponta a ponta, memória de longo prazo entre sessões para o mesmo projeto ou grupo de pessoas, e expansão para mais idiomas de cauda longa e dialetos regionais.