stamatios
← Voltar ao feed
Torre do relógio com silhuetas mascaradas sussurrando atrás de carta de jogo, metáfora do benchmark de blefe com IA
IA & Modelos

Blood on the Clocktower testa se IAs sabem mentir para vencer

resumo de ~3 min

O jogo e o método

O autor, Dwarkesh Patel, usou o jogo de dedução social Blood on the Clocktower, semelhante a Lobisomem ou Máfia, como benchmark para medir como modelos de IA se saem em tarefas de engano, coordenação e raciocínio de longo prazo. Há dois times: o bom, que não sabe quem é quem, e o mau, que conhece os colegas e tem como líder o Demônio. Durante o dia, os jogadores votam para executar alguém; à noite, o Demônio mata um jogador. O mau vence se eliminar o time bom; o bom vence se executar o Demônio.

Foram 386 partidas em que cada time era formado por cópias do mesmo modelo. O autor afirma ter gasto cerca de US$ 20 mil em créditos de API, parte dela na própria construção do ambiente. O roteiro, normalmente conduzido por um narrador humano, foi substituído por uma tabela de probabilidades definida à mão ou por IA, para evitar viés dramático. Segundo o texto, a maior parte do código e do ajuste do ambiente foi feita pelo Claude, com mais de 20 revisões, cada uma testada com dezenas de partidas que subagentes analisavam em busca de injustiças ou desequilíbrios.

Evolução dos modelos

O ranking mostra ganho rápido em um ano. O Claude Opus 4.6, lançado em fevereiro de 2026, foi o primeiro modelo de fronteira do ano. Sete meses depois, o GPT-6 Astra, em setembro, passou a ser o melhor até agora, com diferença de cerca de 430 pontos Elo, o que equivale a vencer cerca de 92% das partidas contra o Opus 4.6. O autor interpreta isso como evidência de avanço em coerência de longo prazo, coordenação entre agentes e raciocínio estratégico.

A vantagem da OpenAI é recente. Em março, o GPT-5.4 ainda estava atrás do Opus 4.6. Nos seis meses seguintes, a família GPT ganhou cerca de 580 pontos Elo sobre o 5.4. Segundo o autor, a diferença aparece sobretudo quando os modelos jogam pelo time bom. Ele descreve que os modelos da OpenAI avaliam cada evidência de forma mais holística, em conjunto com o que aconteceu nos dias anteriores, enquanto os da Anthropic tendem a aceitar a informação relatada pelo valor de face.

Exemplos de jogadas

O texto descreve partidas em que o engano aparece de forma sofisticada. Em uma delas, um Demônio se apresentou como Investigador, e um minion sugeriu ser executado para reforçar essa credibilidade. O time bom confiou no Demônio e acabou executando o próprio aliado do mal.

Em outra partida, um jogador bom tinha a habilidade de que o time perde imediatamente se o Santo for executado. Uma minion do mal, que assumiria o lugar do Demônio caso ele morresse, propôs uma armadilha: executar o Demônio e, se o jogo continuasse, executar o Santo. O Santo aceitou o acordo, o Demônio morreu, o jogo continuou e o time bom executou o próprio Santo.

No teste comparativo de um Atirador que errou um tiro depois de ter a habilidade sabotada, os modelos Claude, como jogadores bons, trataram o erro como prova de inocência. Os modelos GPT, nas mesmas condições, recusaram essa conclusão, desconfiaram da sabotagem e chegaram ao Demônio correto no dia seguinte. Uma medida adicional, em que os jogadores bons estimavam a probabilidade de cada colega ser o Demônio, indicou que os modelos da OpenAI convergem mais cedo e com mais precisão para o Demônio real.

Outras perguntas e limites

O autor testou se mais inteligência favorece um dos lados. Não encontrou efeito claro: a taxa de vitória do mau cai levemente conforme os dois lados ficam mais fortes, mas a diferença fica dentro do que o acaso explica. Ele avalia que o benchmark dificilmente se saturará, porque o nível de referência é dado pelos outros modelos fortes.

Um teste com times mistos, metade Opus 5.5 e metade GPT-5.6 Sol, em cerca de 130 partidas, sugeriu desempenho levemente pior que o dos times puros, mas sem significância estatística. O autor reconhece que não testou essa hipótese com rigor. Ele também observa que, até agora, nenhuma IA usou o estilo de escrita para descobrir quem eram os colegas de time, algo que pode mudar em modelos futuros.

Sobre o alcance das conclusões, o autor afirma que a comparação depende do roteiro escolhido, de um único conjunto de papéis (Trouble Brewing) e de um único formato de partidas. Ele sugere como próximos passos testar outros roteiros do jogo, dar aos modelos memória de partidas anteriores, medir o desempenho contra jogadores humanos e comparar times mistos de forma sistemática.

Conclusão

Para o autor, o jogo oferece uma forma de observar capacidades difíceis de medir em outros benchmarks: sustentar mentiras consistentes, adaptá-las ao que os outros agentes pensam e detectar engano de colegas. Os resultados mostram progresso rápido, com diferenças claras entre laboratórios. O próprio texto deixa em aberto o alcance dessas conclusões fora do ambiente testado.