Meta apresenta FLAT, método que une imagens e texto em tokens contínuos

Um só espaço de tokens para entender e gerar

Sistemas multimodais modernos costumam manter representações separadas para compreensão e geração. O FLAT (Flexible-Length Aligned Transmodal Tokens), projeto da Meta AI, propõe o caminho oposto: imagens e textos são reamostrados em uma mesma sequência unidimensional de tokens contínuos, treinada em conjunto para alinhamento entre modalidades, síntese de imagem e legenda (captioning).

Um único encoder de VLM produz até 256 tokens contínuos de 64 dimensões ("register tokens") para qualquer uma das modalidades. O alinhamento contrastivo e a geração bidicional moldam o espaço latente, e o nested dropout organiza a informação do grosso ao fino: qualquer prefixo de K tokens é útil, do primeiro token, que já captura a semântica global, até os que recuperam composição e atributos finos. Isso dá um compromisso direto entre computação e detalhe no momento da inferência, sem trocar de representação ou modelo.

Resultados reportados

Em geração texto-para-imagem, o modelo adaptado à tarefa atinge 83.1 no GenEval; prefixos curtos estabelecem o conceito principal, e prefixos mais longos resolvem contagem, relações espaciais e atributos. No captioning, a qualidade cresce suavemente de K=1 a K=256, chegando a 40.5 BLEU-4 e 138.6 CIDEr no COCO.

Em recuperação (retrieval), a performance quase não muda em uma faixa de 256 vezes na largura da representação: no COCO, ir de K=1 para K=256 altera as métricas de recall em menos de um ponto (por exemplo, I→T R@5 de 86.44 para 86.82). No Flickr, com um único token, I→T R@5 é 98.10 e T→I R@5 é 93.52.

Estrutura semântica do espaço

Um token único de FLAT reduz pela metade a distância entre os centroides imagem–texto em comparação com o CLIP; a sequência completa reduz essa distância a cerca de um quarto. Agrupamento não supervisionado (k-means) sobre o token congelado de 64 dimensões recupera categorias visualmente coerentes do ImageNet. Probing linear sobre features congeladas atinge 73.3% de top-1 no ImageNet-1K com um token, 81.2% com 16 e 81.8% com 64, estabilizando aí até 256 tokens.

Como imagem e texto compartilham um espaço decodificável, operações vetoriais simples produzem transições interpretáveis: interpolação segue conceitos intermediários em ambos os decoders, e aritmética semântica compõe significados token a token (exemplo: adicionar uma lua cheia a uma cena de farol).

Transferência sem treino dedicado

O paper relata capacidades não supervisionadas explicitamente pela mistura de treino. Prompts equivalentes em inglês, chinês e espanhol geram imagens consistentes, e conceitos de emoji podem ser roteados pelo espaço latente compartilhado. Quatro quadros amostrados de vídeo podem ser codificados em conjunto em uma única sequência de registros, decodificáveis tanto como legenda quanto como imagem que funde objetos e contexto do trecho, em vez de escolher um keyframe único. Em retrieved composto de imagens, a composição de embeddings de imagem de referência e edição em texto no espaço latente alcança, com K=1, 44.0 Hit@1 e 75.2 Hit@5.

Embora o treino amostre comprimentos de prefixo em potências de quatro, a representação ordenada decodifica suavemente também em valores de K não vistos. O projeto indica paper no arXiv e code/models ainda "coming soon".