Meta apresenta Muse Realtime Avatar com expressões em tempo real

A Meta anunciou o Muse Realtime Avatar, tecnologia de personificação que transforma o Muse Realtime Voice em avatares interativos e expressivos em tempo real. Condicionado a mídia de referência, o sistema pode dar vida a retratos fotográficos - que reagem com expressões sutis -, ilustrações de corpo inteiro, que gesticulam e mudam de postura ao falar, além de animais e objetos cotidianos, mantendo a aparência e os maneirismos coerentes de uma conversa a outra.

De inteligência a presença em tempo real

Muse Realtime Voice e Muse Realtime Avatar formam um único sistema de streaming que conecta inteligência, voz e corpo. O Voice produz um fluxo de tokens de fala (VQs) que carrega tanto o conteúdo dito quanto a forma de entrega. Um decodificador de áudio converte esses tokens em voz, enquanto o Avatar consome o mesmo fluxo para gerar a performance visual correspondente. Compartilhar o fluxo de tokens mantém voz, movimento labial e expressão sincronizados.

Tecnicamente, o Avatar é um Diffusion Transformer guiado por áudio, condicionado ao fluxo de tokens de fala, à mídia de referência e a uma janela contínua de latentes de vídeo recentes. Ele gera vídeo em blocos causais curtos: ao completar cada bloco, os latentes gerados mais recentemente tornam-se contexto de movimento para o próximo, preservando aparência e maneirismos e mantendo a computação limitada - o que permite geração contínua enquanto durar a conversa.

Geração infinita de vídeo em tempo real

O streaming ao vivo exige dois resultados simultâneos: gerar vídeo rápido o suficiente para interação e manter consistência visual sem acúmulo de erros. A Meta partiu de um professor bidirecional de alta qualidade e produziu um aluno causal com cache KV de comprimento fixo, por meio de self-forcing e destilação por distribution matching. O self-forcing treina o aluno sobre o próprio contexto gerado, ensinando-o a resistir ao drift à medida que pequenos erros se acumulam.

O professor usa 40 passos de difusão com classifier-free guidance (CFG) tripartido - três passagens de modelo por passo, totalizando 120 avaliações por bloco. A receita de destilação comprime conjuntamente o processo de difusão e o efeito do CFG em um aluno de dois passos sem guidance: 2 avaliações não guiadas reproduzem o que o professor refina em 120 avaliações guiadas, uma redução de 60 vezes, preservando de perto a qualidade do professor. Nas comparações de preferência, o resultado ficou próximo de um empate geral.

Desempenho frente a concorrentes

Para avaliar o comportamento em conversa ao vivo, a Meta comparou o sistema com Runway Characters e HeyGen LiveAvatar, os dois principais sistemas comerciais de avatares, usando a experiência nativa de chamada ao vivo de cada produto. Avaliadores mantiveram conversas de dois a três minutos com identidades de avatar equivalentes e compararam qualidade visual, sincronização, consistência de personagem e maneirismos, entre outros critérios. Os avaliadores preferiram o Muse Realtime Avatar no geral e em todas as dimensões avaliadas, com exceção da comparação de maneirismos contra o Runway Characters, que não foi estatisticamente distinguível de um empate.

Servindo com latência subsegundo em escala

Servir a experiência em escala na Meta exigiu redesenhar a pilha de inferência em tempo real e construir um motor próprio otimizado para inferência e distribuição de vídeo em tempo real. Entre as técnicas: caches KV persistentes com codificações posicionais conscientes de memória para reutilizar contexto entre blocos, roteamento consciente de cache, batching dinâmico consciente de latência, treinamento com quantização de quatro bits para preservar qualidade a menor custo, kernels fundidos e NVIDIA CUDA Graph para reduzir tráfego de memória e overhead de agendamento. A Meta colaborou com a NVIDIA em otimizações do passo de inferência do modelo.

O sistema transmite vídeo retrato 448x768 a 25 quadros por segundo, com cerca de 870 ms de latência entre o fim da fala do usuário e o primeiro byte da resposta sincronizada de voz e vídeo. Em uma única sessão em um GB200, cada passo de geração produz oito quadros - 320 ms de reprodução - em 20 ms, ou 2,5 ms de tempo de modelo por quadro. As otimizações e a orquestração entre voz e vídeo elevam a capacidade de serviço em 8 vezes em relação ao baseline de dois passos em BF16, permitindo 12 sessões em tempo real concorrentes de geração de vídeo em um único GB200.

Segurança e responsabilidade

A Meta afirma aplicar requisitos rígidos de segurança para reduzir risco de uso indevido. Para rastreabilidade, o sistema usa o Meta Video Seal para embutir uma marca-d'água invisível e durável no vídeo gerado, sem adicionar latência. A empresa diz que continuará fortalecendo as proteções conforme a IA incorporada evolui. Todos os exemplos do anúncio ilustram capacidade do modelo e nem todos refletem avatares disponíveis no aplicativo Muse, que é destinado a usuários com 18 anos ou mais.