Novo benchmark mede raciocínio visual intuitivo em modelos multimodais

O problema

O texto parte da ideia de que as pessoas percebem muito mais do que está explicitamente mostrado em uma cena. Um único olhar capta causas passadas e trajetórias futuras, uma olhada rápida indica se um veículo cabe entre dois carros estacionados e alguns segundos de vídeo revelam quem tem autoridade em uma sala. Segundo os autores, os benchmarks visuais existentes avaliam ou a análise especializada e deliberada ou a percepção de baixo nível, deixando em grande parte sem teste o raciocínio intuitivo que as pessoas realizam no dia a dia.

O benchmark

Para preencher essa lacuna, a Scale Labs apresenta o Humanity's Sixth Sense (HSS), um benchmark de raciocínio visual intuitivo. Ele inclui imagens e vídeos diversos, organizados em uma taxonomia estruturada. Cada item é acompanhado de um prompt escrito por humanos, que investiga a estrutura implícita temporal, espacial, social e abstrata que as pessoas inferem à primeira vista.

Resultados

Os modelos multimodais de fronteira ficam aquém do desempenho humano. Os participantes atingiram 93,1% de acerto, enquanto o modelo mais forte avaliado, GPT-6-astra, chegou a apenas 53,6%, mesmo com esforço máximo de raciocínio. O texto ressalta que esses modelos se destacam em muitas tarefas complexas que exigem percepção avançada e conhecimento, mas ainda têm dificuldade significativa nessas tarefas visuais que são intuitivas para humanos.

Abordagem agêntica

Os autores também testaram configurações agênticas que aplicam manipulação visual dinâmica ao HSS. Segundo o texto, essa abordagem reduz a distância em relação ao desempenho humano, mas não a elimina.

Conclusão

Os autores propõem o HSS como um eixo mensurável de capacidade, que, segundo eles, o aumento de escala em benchmarks atuais deixou para trás.