Perplexity lança embeddings multimodais com vetores por token

Contexto: dos vetores únicos à interação tardia

A Perplexity apresenta a família pplx-embed-v2-late, de modelos de embeddings para recuperação de texto e imagem. O texto parte de uma limitação dos modelos densos tradicionais: cada consulta e cada documento são comprimidos em um único vetor de tamanho fixo, o que cria um gargalo de informação, sobretudo em documentos longos e em conteúdo multimodal. Modelos cross-encoder preservam mais interação entre consulta e documento, mas são caros demais para buscas em grandes corpora, por isso costumam ser usados apenas para reordenar poucos candidatos.

A interação tardia (late interaction) fica entre os dois extremos. Os documentos são codificados independentemente da consulta, o que permite calcular as representações offline, mas cada token mantém seu próprio vetor. Os modelos da Perplexity usam arquitetura no estilo ColBERT, com vetores de 128 dimensões por token, e a pontuação é feita por MaxSim: para cada token da consulta, seleciona-se o token do documento mais similar, e essas similaridades máximas são somadas. O texto reconhece o custo: armazenamento e avaliação de candidatos crescem com o tamanho do documento, exigindo outro desenho de indexação e servidor do que a busca com um vetor por documento.

Multimodalidade e documentos sem OCR

O texto afirma que documentos reais chegam como PDFs, slides, capturas de tela, páginas escaneadas, gráficos e tabelas. O pipeline convencional, que faz OCR ou legendagem e depois busca o texto, é descrito como caro e com perdas, pois pode introduzir erros de OCR e descartar layout, estrutura de tabelas e relações espaciais. Os modelos permitem buscar textos diretamente em páginas renderizadas, sem OCR. Segundo a fonte, as representações de imagem de documentos são o caso mais comum esperado, mas os modelos também funcionam com imagens naturais, como fotografias.

Treino, destilação e configurações de implantação

Um professor de 18B foi treinado de forma contrastiva e depois destilado em dois alunos, de 9B e 0.6B. Em vez de replicar apenas a distribuição de ranking do professor, a equipe aplicou destilação de representação no estilo LEAF, alinhando, para cada token, o embedding do aluno com o do professor. Como os dois checkpoints compartilham o mesmo espaço multi-vetor, é possível combinar modelos: indexar com o 9B e consultar com o 0.6B, ou manter parte do processamento local.

O 0.6B foi obtido a partir do Qwen3.5-0.8B, com o tower de texto reduzido de 24 para 12 camadas. O modelo tem 594M de parâmetros no total, mas a fonte ressalva que parte disso é usada apenas para codificação de imagem (100M) ou está na tabela de embeddings de tokens (254M), de modo que cerca de 240M são ativos para texto e 340M para imagem.

Os dados somam 186 milhões de pares consulta-documento, de 594 conjuntos em 46 idiomas. Pares texto-texto são 88,3% do total, texto-imagem 8,3% e texto-documento visual 3,4%; após ponderação por conjunto, a mistura de treino fica em 56,5%, 30,9% e 12,6%. A equipe afirma ter excluído conjuntos ligados aos benchmarks usados na avaliação, reconhecendo que isso pode deixar de aproveitar dados de qualidade, mas considera que números confiáveis são mais úteis.

Resultados e ressalvas

Nos benchmarks de texto, o 9B tem média de 81,3% nos domínios específicos, o maior entre os modelos avaliados, com vantagem de 1,6 pp sobre o segundo colocado; o 0.6B fica 0,3 pp atrás do gemini-embedding-2. No ViDoRe(V3) em Markdown, o 0.6B marca 61,2%, atrás apenas do 9B (64,7%). No Q2D-Web, medido por Recall@1000 com julgamentos combinados, os modelos alcançam 74,8% (9B) e 73,6% (0.6B), contra 69,3% do melhor resultado anterior. A fonte nota que os julgamentos Citation e Web favorecem sistemas próprios da empresa, por isso prefere o conjunto combinado.

Na recuperação visual, o 9B tem 65,2% no ViDoRe(V3), atrás apenas do EVIE; o 0.6B tem 62,3%, perto de 1,2 pp do nemotron-colembed-v2-8b. Em imagens, o 9B fica atrás só do gemini-embedding-2 no MIRACL-Vision e no PPLX-Q2I, benchmark interno baseado em logs de busca de imagens. A fonte destaca que os vetores de 128 dimensões por token contrastam com 2.048 e 4.096 de modelos concorrentes, o que afeta custos de armazenamento.

Na busca agêntica, o 9B atinge 64,0% no BrowseComp+, com vantagem de 4,9 pp sobre o melhor ColBERT concorrente. No MADQA, o 9B chega a 92,4% com o Gemini 3.5 Flash como agente e o 0.6B a 90,1%. O texto observa que o retriever da Mixedbread com agente de busca obteve 93,4%, dentro do intervalo de confiança da própria Perplexity.

A conclusão apresentada é que a interação tardia e a multimodalidade podem melhorar a recuperação em corpora de qualidade sensível, com trade-offs de custo de indexação e armazenamento. Detalhes técnicos completos e resultados de avaliação completos serão publicados em um relatório técnico posterior no ano.