Liquid AI publica d1, modelos abertos de decisão para texto, visão e áudio

O lançamento

A Liquid AI lançou dois modelos abertos de decisão da família d1: o d1-3B e o d1-omni-600M, disponíveis no Hugging Face. Diferentemente dos modelos generativos LFM da empresa, os modelos d1 não produzem tokens. Eles geram uma resposta em uma única passagem direta (forward pass). A empresa afirma que o d1-3B obtém 48,57 no Decision Index v0.2.1 (split público), à frente de todos os modelos com menos de 10B de parâmetros e em nível semelhante ao do Decider 35B-A3B, que segundo a fonte é 12 vezes maior. O d1-omni-600M é descrito como um primeiro checkpoint experimental, com 15,95 no mesmo índice.

Arquitetura e treinamento

Os dois modelos partem de bases diferentes. O d1-3B é treinado a partir do LFM2.5-VL-3B, um VLM somente decodificador que aceita texto e imagens. Ele foi criado com a média dos pesos do LFM2.5-2.6B e do backbone de texto do LFM2.5-VL-3B, seguida de ajuste fino com sementes aleatórias e misturas de dados diferentes. Segundo a Liquid AI, treinar com entradas longas, embaralhar as opções de resposta e corrigir atalhos nos dados fizeram mais diferença do que técnicas mais avançadas.

O d1-omni-600M parte do LFM2.5-Encoder-350M, um encoder bidirecional, ao qual foram acrescentados encoders de visão e áudio em etapas. Ele aceita texto com imagem ou texto com áudio. Para o áudio, foi treinado um encoder FastConformer com adaptador, e para a visão foi usado o encoder do LFM2.5-VL-450M, com adaptador e atualizações LoRA no backbone.

Resultados em benchmarks

Em sete benchmarks públicos de texto, que cobrem compreensão de leitura, detecção de toxicidade, classificação de intenção, QA médico e compreensão multilíngue, o d1-3B tem média de 82,9, a maior da tabela e acima do Decider 4B (81,1). O d1-omni-600M tem média de 78,4, acima do Decider 2B (77,1), com um quarto dos parâmetros. Ele também registra a maior pontuação da tabela em detecção de toxicidade (Civil Comments, 95,8) e em identificação de paráfrases (PAWS-X, 79,5).

A fonte faz ressalvas importantes. O split privado de visão do Decision Index v0.3 não é divulgado nesta versão. A empresa diz apenas ter validado que o d1-3B mantém as capacidades de visão do backbone em benchmarks padrão, e que o d1-omni-600M lida com as três modalidades. Benchmarks específicos de decisão em áudio são descritos como um problema em aberto.

Latência e execução local

Como os modelos não geram tokens, a Liquid AI mede a latência de ponta a ponta. Para o d1-3B, a empresa informa 8 ms para responder a uma pergunta em uma RTX 4090, 16 ms em um Jetson AGX Thor e 26 ms em um Jetson AGX Orin. Em um Jetson Orin Nano, o tempo é de 50 ms. Em dispositivos de borda, o tempo para uma pergunta fica abaixo de 50 ms, e três perguntas sobre o mesmo estado levam cerca de 1,3 vez o tempo de uma. A fonte ressalta que os números do d1-omni-600M ainda são preliminares, pois o modelo está em desenvolvimento ativo. Os modelos têm suporte no llama.cpp desde o primeiro dia.

A empresa também cita demonstrações com câmera ao vivo, em que o d1-3B roda em loop, e uma simulação no Isaac Sim, com o modelo servido em um Jetson em configuração hardware-in-the-loop, em colaboração com a NVIDIA.

Posicionamento

A Liquid AI apresenta os modelos como parte de uma visão de IA que roda em qualquer lugar. Os pontos destacados são: pesos abertos, que podem ser baixados, ajustados e implantados sem restrições; velocidade desde o início; e duas escalas que permitem trocar precisão por tamanho. A fonte não traz avaliações independentes além dos números publicados pela própria empresa.