StepAudio 3 unifica fala, música e efeitos em um único modelo

Um modelo para todo tipo de áudio

Pesquisadores apresentaram o StepAudio 3 Gen, descrito em relatório técnico no arXiv, um modelo de geração de áudio de propósito geral que reúne em um único framework diversas capacidades: conversão de texto em fala (TTS) zero-shot, design de voz, geração vocal, efeitos sonoros, música, fala com "vibe" e misturas de vários tipos de áudio.

Arquitetura discreta em vez de difusão

O núcleo do sistema é um gerador autorregressivo discreto que modela o áudio diretamente sobre tokens de quantização vetorial residual (RVQ) - uma ruptura com o paradigma de geração contínua baseado em Transformers de difusão, predominante nos modelos de áudio gerais recentes.

O componente StepAudio Tokenizer representa áudio geral a 12,5 Hz em um espaço de códigos residual compartilhado de 16 × 2048, quantizando conjuntamente características semânticas e acústicas no nível da forma de onda, de modo que cada camada de código preserve os dois tipos de informação.

Na geração, o backbone prevê o primeiro codebook ao longo do eixo do tempo com modelagem autorregressiva, enquanto um Transformer causal leve completa os quinze codebooks restantes ao longo do eixo dos codebooks.

Três princípios de design

O estudo identifica três princípios-chave:

1. Pré-treinamento progressivo com atenção a interferências, para adquirir capacidades de áudio preservando as habilidades textuais do modelo de linguagem de grande porte que serve de base.
2. RVQ Adaptor, para incorporar eficazmente representações acústicas de múltiplos codebooks.
3. Modelagem autorregressiva discreta sobre uma representação compartilhada entre os domínios de áudio geral.

Treinamento e resultados

O modelo foi treinado com pré-treinamento progressivo, treinamento instruído multi-tarefa e ajuste fino supervisionado. Segundo os autores, o StepAudio 3 Gen alcança desempenho de ponta (state-of-the-art) em TTS e design de voz, mantendo fortes capacidades de geração em fala, vocais, efeitos sonoros e música. Amostras de áudio foram disponibilizadas publicamente.

O relatório foi submetido em 11 de setembro de 2026 e conta com mais de 70 autores.