Runway apresenta GWM Worlds 2, modelo mundial em tempo real

{ "resumo": "## Anúncio\n\nA Runway apresentou o GWM Worlds 2, nova versão de seu modelo mundial (world model) para simulação interativa de ambientes em tempo real. O modelo gera continuamente vídeo em 720p a 24 fps e áudio a 48.000 Hz, respondendo às entradas do usuário enquanto ele explora o mundo. A versão anterior, o GWM Worlds, havia sido anunciada em dezembro do ano anterior e se destacava por manter consistência espacial em sequências longas de movimento. A novidade adiciona áudio gerado e controle detalhado de sujeitos e cena.\n\n## WorldPrompt: formato de entrada\n\nO controle do mundo usa um formato chamado WorldPrompt, baseado na divisão do estado do mundo entre o que persiste e o que muda no tempo. Ele tem duas camadas complementares:\n\n- Contexto persistente: uma "genesis prompt" com descrição da cena (ambiente, layout, materiais, iluminação e som ambiente), os sujeitos que podem participar de eventos com seus atributos, e as "leis", convenções reutilizáveis que regem comportamento (gravidade, colisão, habilidades de personagens, perspectiva da câmera). Inclui também um primeiro quadro para ancorar visualmente a geração.\n- Fluxo de eventos com marcação de tempo: ações em texto livre, com início e fim, endereçadas a um sujeito ou à própria cena - movimento, gestos, interações com objetos, fala e som. Múltiplas ações podem se sobrepor, e fala é tratada como uma ação qualquer. Há também entrada de câmera, um fluxo por quadro de translação e rotação do ponto de vista.\n\n## Do modelo bidirecional ao tempo real\n\nO modelo base de geração de áudio e vídeo é finetunado no formato WorldPrompt. Como o modelo finetunado é bidirecional e ainda lento, a Runway aplica um post-training para transformá-lo no GWM Worlds 2, um modelo autorregressivo em tempo real, sem duração fixa, capaz de gerar indefinidamente.\n\nArquitetura: é um modelo autorregressivo de difusão de vídeo e áudio. Cada passo autorregressivo é condicionado por três contextos: global (genesis prompt e primeiro quadro), entradas do quadro atual (câmera e ações de texto) e os quadros passados, em cache numa janela deslizante de KV cache. Os decodificadores de vídeo e áudio são causais e rodam com cache para acelerar a decodificação. Todo token atende aos tokens globais; os tokens de cada quadro (vídeo, texto, áudio, câmera) atendem causalmente a si mesmos e aos quadros passados, com quadros antigos descartados.\n\n## Usos e demonstrações\n\nO artigo descreve três modos de uso: "ahead of time" (todas as ações autoradas antes, para filmmaking e publicidade), "turn-based" (geração pausa em pontos de decisão, para romances visuais e filme interativo) e "real-time", o mais desafiador, que exige latência baixa - digitar ações seria lento demais, e mesmo VLMs não reagem em dezenas de milissegundos. No demo em tempo real, teclas e mouse são vinculados a prompts pré-feitos. A Runway admite que o método "ahead of time" ainda produz melhor qualidade, pois os prompts podem descrever mais da cena, enquanto no tempo real o modelo precisa inventar detalhes sem âncora além do contexto persistente e dos quadros anteriores.\n\nO modelo também aceita prefill com um vídeo existente de oito segundos, mantendo ambiente e áudio consistentes, e permite controle agêntico: agentes podem comandar personagens e o ambiente, o que o torna candidato a ambiente simulado para avaliação e treinamento de agentes. Em um teste simples com um robô humanoide e duas bandeiras, um agente instruído a alcançar a bandeira vermelha, a azul ou ambas em sequência teve sucesso na primeira tentativa em todos os casos. Há também suporte a multiplayer, com papéis distintos (jogadores, diretor) e transmissão via LiveKit. A criação de mundos no demo é auxiliada por um LLM: a partir de um prompt simples, ele gera primeiro quadro, genesis prompt e ações vinculadas a teclas.\n\n## Limitações\n\nTrata-se de uma prévia de pesquisa. A geração em tempo real troca fidelidade por velocidade: rotações rápidas de câmera podem degradar detalhes, texturas e geometria. A memória de longo prazo é imperfeita, e não há suporte a referências de imagem além do primeiro quadro ou vídeo prefilled. A Runway afirma que a geração de vídeo em tempo real está em estágio inicial e espera a mesma curva de melhoria vista na geração offline de vídeo.", "hook": "A Runway lançou o GWM Worlds 2, um modelo que gera mundos interativos em tempo real: vídeo 720p a 24 fps e áudio a 48.000 Hz, respondendo a ações em texto enquanto o usuário explora. A empresa também mostrou agentes controlando personagens e ambientes dentro do mundo simulado, mas admite que a fidelidade ainda é trocada por velocidade.", "entities": ["Runway", "GWM Worlds 2", "GWM Worlds", "WorldPrompt", "LiveKit"], "themes": ["ia-generativa-de-midia"], "story_key": "runway-gwm-worlds-2", "reasoning": { "story_key": "Fato canônico: lançamento do GWM Worlds 2 pela Runway, modelo mundial em tempo real.", "themes": { "ia-generativa-de-midia": "Modelo de geração de vídeo e áudio em tempo real apresentado como produto/pesquisa; não é LLM de texto." }, "entities": { "Runway": "Empresa que criou e anunciou o modelo.", "GWM Worlds 2": "O modelo lançado, sujeito central do fato.", "GWM Worlds": "Versão anterior, contexto direto do anúncio.", "WorldPrompt": "Formato de entrada próprio, parte central do anúncio técnico.", "LiveKit": "Ferramenta usada no demo multiplayer para transmissão de áudio e vídeo." }, "excluded": { "Gen-4.5, Aleph 2.0, Act-Two, GWM-1": "Menções apenas em rodapé/navegação do site, não são assunto do texto.", "LLM assistente": "Ferramenta de apoio para autoria de presets, menção secundária." } } }