Meta lança SAM 3.1 para segmentar e rastrear objetos em imagens e vídeos

O que é o SAM 3.1

A Meta lançou o SAM 3.1 (Segment Anything Model), descrito como seu principal modelo de percepção para detecção, segmentação e rastreamento de objetos em imagens e vídeos. O modelo é oferecido pela Meta Model API, com inferência construída especificamente para sua arquitetura DETR - a empresa afirma que isso garante throughput de produção desde o primeiro dia, sem necessidade de configurar ou ajustar infraestrutura.

Capacidades em um único modelo

Segundo a página, a maioria dos modelos multimodais entrega apenas rótulos e bounding boxes, deixando o restante por conta do desenvolvedor. O SAM 3.1, em contraste, detecta objetos, retorna máscaras de segmentação com precisão de pixel e rastreia os objetos ao longo de vídeos preservando a identidade, tudo em uma única chamada. O funcionamento é zero-shot: não exige dados de treinamento, ajuste fino (fine-tuning) nem modelos adicionais.

Integração e uso

O SAM 3.1 compartilha envelope, chaves, documentação e cobrança com os demais modelos da Meta, permitindo integrar segmentação e rastreamento de vídeo a pipelines existentes. A empresa sugere combinar o modelo com o Muse Spark, para raciocínio e geração, e o Muse Voice Transcribe, para transcrição de fala.

Formas de acesso

O acesso é direto e self-service pela Meta Model API. Também há um playground para experimentar o modelo com mídia própria antes de escrever código. A documentação inclui um guia de início rápido que promete a primeira requisição funcional em menos de cinco minutos, compatível com clientes do SDK da OpenAI apontados para a Meta Model API. Entre os exemplos estão o uso de prompts em texto para identificar, segmentar e seguir qualquer objeto, e a segmentação a partir de uma frase nominal curta, que retorna uma caixa e uma máscara para cada correspondência.

Preços

O preço listado é de US$ 2,50 por mil imagens e US$ 0,20 por mil quadros de vídeo para o modelo sam-3-1, na categoria segmentação.