dig.bench: benchmark testa se agentes conseguem descobrir regras de jogos

Proposta do dig.bench

dig.bench é apresentado como um benchmark de descoberta científica composto por 70 jogos interativos baseados em texto, dos quais 21 foram disponibilizados publicamente. O objetivo é medir se um agente consegue descobrir regras desconhecidas próprias de cada jogo por meio de experimentação. Como os jogos são textuais, o teste fica no domínio natural dos modelos de linguagem: segundo o texto, não há elementos visuais que interfiram entre o modelo e a descoberta, de modo que o benchmark avalia “descoberta em si”. Humanos e modelos frontier jogam os mesmos jogos com acesso às mesmas informações, e o progresso é pontuado pela capacidade de vencer o jogo dentro de um número limitado de passos.

Condições de dificuldade

Os jogos são organizados em 7 níveis de dificuldade, numerados de 1 a 7. Nenhum jogo é descrito como fácil; todos exigem esforço, mas cada um pode ser vencido por ao menos um humano na primeira tentativa, conforme validação com testadores externos. A taxa de vitória de cada jogo é calculada pela média das vitórias em suas execuções e depois pela média entre os dez jogos do nível. O texto afirma que humanos conseguem fazer as descobertas necessárias até nos jogos mais difíceis, enquanto os melhores modelos têm dificuldade para vencer jogos do nível mais alto.

Avaliação e interface

A avaliação compara humanos e modelos frontier usando a mesma interface: estados de jogo idênticos, conjuntos de ações idênticos e orçamento de passos idêntico. A plataforma mostra as ações disponíveis; um “modo criativo”, presente em alguns jogos, permite entrar em outro nível para experimentar sem que isso conte para o limite de passos; o estado atual do jogo; estatísticas; e o histórico de ações e estados. Para vencer, o agente precisa descobrir as regras desconhecidas e aplicá-las para resolver desafios.

Modelos testados

O placar exibido traz resultados em duas configurações. Na Basic Harness, aparecem Opus 5, GPT-5.5, Kimi K3, Gemini 3.1 Pro, GLM-5.2, DeepSeek V4 Flash, DeepSeek V4 Pro e Qwen 3.6 27B. Na Agentic Harness, aparecem combinações como Opus 5 + Prime Agent, Fable 5 + Claude Code, GPT-5.6 Sol + Codex, Kimi K3 + Kimi Code e Gemini 3.1 Pro + PRO-LONG. Os 21 jogos públicos são listados como P-1 a P-21, distribuídos pelos sete níveis, com dificuldade crescente para modelos. O projeto permite executar qualquer modelo contra os jogos por SDK ou API e menciona uma comunidade chamada DisCo para acompanhar progresso nos quebra-cabeças.

Autoria e contexto

O trabalho é citado como “DiG-bench: Discovery in Games”, associado a um artigo no arXiv de 2026. A autoria listada inclui Ruairidh M. Battleday, Kai Sandbrink, Jimi Cullen-Drohan, Zihan Yan, Timothy Muller, Clare Maguire, Ales Kubicek, Fraser Greenlee-Scott, Sukrit Sumant, Tri Dao, Jürgen Schmidhuber, Michal Valko, Joshua Tenenbaum, Thomas L. Griffiths, Zeb Kurth-Nelson e James C.R. Whittington. A página não detalha resultados numéricos específicos por modelo além da estrutura de comparação e da observação geral de dificuldade nos níveis superiores.