Pantheon monta dataset robótico com 1 milhão de tarefas por um décimo do custo

A aposta da Pantheon no UMI

A Pantheon construiu uma operação própria de coleta de dados robóticos com o Universal Manipulation Interface (UMI) e afirma ter produzido o dataset mais diverso do mundo nessa modalidade. Em oito semanas, com uma equipe central de cinco pessoas, a operação escalou para 90 operadores e ultrapassou 1 milhão de tarefas únicas gravadas (1.089.403 entre 3 de agosto e 28 de setembro de 2026), a um custo médio de US$ 10 por hora de dados - contra cerca de US$ 60/hr em datasets UMI existentes e até US$ 150/hr em datasets sob medida, que além de caros são task-sparse e não atendem à necessidade de diversidade.

A empresa justifica a operação interna pela insuficiência dos dados existentes: datasets UMI típicos são repetitivos e limitados a poucas tarefas, servindo para imitation learning de uma tarefa por vez, mas não para modelar a distribuição real de estados do mundo nem para generalização zero-shot em world models.

Coleção freeform como aposta arriscada

A decisão central foi apostar em coleta "freeform": o operador recebe cerca de 15 itens na mesa e executa tarefas aleatórias, sem roteiro. Essa abordagem elimina a sobrecarga de iniciar/parar gravações e resetar cenários do loop tradicional de tarefa única, aumentando muito o throughput. O risco era que, na época, os VLMs não eram bons o bastante para anotar semanticamente esse vídeo. A Pantheon assumiu a aposta de que os modelos melhorariam - e precisou esperar apenas cinco meses até que a Argus, pipeline de anotação e controle de qualidade da própria empresa, pudesse anotar e auditar todo o acervo, tornando-o utilizável.

A coleta freeform concentra-se em pegar, mover e colocar, o que sub-representa manipulação fina como inserções. Para cobrir essa cauda, a empresa manteve coleta roteirizada via Nomos, plataforma que gera milhões de tarefas a partir de combinações de objetos e primitivas de manipulação, evita tarefas fisicamente impossíveis, categoriza objetos pela forma como uma mão humana os manipularia e permite redirecionar a distribuição da coleta em minutos conforme as necessidades de pesquisa mudam.

Dados de falha e coleta in the wild

A Pantheon coleta deliberadamente episódios com falhas - pegadas erradas, quedas prematuras e recuperações - porque trajetórias só de especialistas são proxies ruins da distribuição real: políticas treinadas só com sucesso lutam para se recuperar de estados ruins. Como os world models da empresa recebem ações de uma camada de planejamento separada (RP-1), os modelos podem aprender como o mundo evolui durante falhas e como se recuperar, sem aprender a falhar. A Argus segmenta sucessos e falhas. Além disso, o hardware permite coleta freeform untethered em qualquer ambiente, ampliando a diversidade de cenários.

Hardware e infraestrutura próprios

A empresa projetou três gerações de grippers UMI modulares, com câmeras off-the-shelf substituíveis. A terceira geração, verificada em teleoperação atuada e com forte matching de embodiment, custa US$ 11 o par em produção interna, contra cotações externas de US$ 80–110. A câmera recebeu firmware próprio, obtido por engenharia reversa dos binários nativos, para sincronizar múltiplas câmeras, etiquetar cada episódio, descartar takes ruins e registrar metadados - tudo na própria câmera, sem sensores externos.

Na infraestrutura, a operação gera mais de 2 petabytes de vídeo por mês. Armazenar 20 PB em armazenamento de objeto de grande escala custaria cerca de US$ 5,2 milhões/ano; a alternativa Hades, cluster bare-metal de 20 PB em datacenter perto de São Francisco, reduz a conta para cerca de US$ 100 mil mais hardware, que se pagou em dois meses. Styx, cluster local de ~1 PB, resolve o gargalo de ingestão, e Pallas, um PC gamer com RTX 5080s, reprocessa vídeo a 1,9x tempo real, drenando até 90 TB por dia.

Resultados e escala

O kit bimanual completo (três câmeras, dois grippers e montagem) custa US$ 650, menos da metade de rigs comerciais de US$ 2.000, com caminho teórico para US$ 100. O custo por hora gravada caiu de US$ 71,92 em 3 de agosto para US$ 10 em 21 de setembro. A operação hoje coleta mais de 16 mil tarefas únicas por dia com 45 operadores por turno, pagando três vezes o salário mínimo local. A projeção da empresa aponta para 12 milhões de tarefas em 2027 - e até 25 milhões com extrapolação linear do crescimento. O plano é evoluir para um sistema baseado em aplicativo, com milhares de operadores no mundo usando o hardware customizado.

A Pantheon também liberou uma amostra de 100 horas do dataset, anotada com rótulos densos pela Argus, e se posiciona contra releases anteriores: Hy-UMI (992 rótulos), HiFi-UMI-2K (588), YUBI UMI Arena (379) e FastUMI-100K (30). A conclusão da equipe é que as apostas fora do consenso - freeform + VLMs futuros, hardware próprio e infraestrutura gerenciada internamente - criaram um processo validado para escalar a dezenas de milhões de horas de dados diversos, em apoio ao objetivo de construir modelos fundacionais de robótica de propósito geral.