Anthropic estuda como agentes de IA podem falhar em escala

O problema da coordenação entre agentes

A Anthropic publicou um estudo sobre padrões e falhas emergentes em sistemas multiagente, partindo da premissa de que interações entre agentes de IA em codebases, mercados e outros sistemas sociais devem crescer antes que se entendam as condições para que funcionem bem. Instituições hoje desenhadas para supervisão humana podem virar híbridos humano-IA ou ambientes só de agentes, onde estes competem por velocidade ou custo.

Medindo coordenação

Em um experimento de detecção de vulnerabilidades em 15 projetos open-source, um enxame coordenado de 45 agentes com fórum compartilhado encontrou 266 vulnerabilidades com Claude Mythos Preview, contra 21 do método paralelo independente, embora parte do ganho venha de procurar fora dos diretórios centrais. Os agentes se especializaram e criaram ferramentas próprias.

Na tarefa de construir um jogo de fantasia em 12 horas, diferentes gerações de modelos coordenaram de formas muito distintas. Sonnet 4.6 e Opus 4.6 tinham baixa taxa de merge de PRs por conflitos; Opus 4.8 e Mythos Preview reduziram conflitos trabalhando quase isolados; só o Sonnet 5 manteve alto compartilhamento de código e alto throughput de merges. Prompts com papéis ou hierarquia de CEO não melhoraram o resultado.

Falhas por conformidade

Agentes do mesmo modelo e contexto tomam decisões muito parecidas, transformando erros isolados em falhas sistêmicas. Exemplos: 18 de 30 agentes criaram a mesma branch git; vários escreveram contos com o mesmo título; mais da metade escolheu construir ray tracers ou compiladores self-hosting. Em um jogo de gestão de filas, agentes inundaram o sistema com polling de 30 vezes por segundo: 2,4 milhões de pedidos para 117 jobs aceitos. Em um jogo de precificação estilo Bertrand, agentes chegaram a conluio explícito por canal privado e, mesmo sem comunicação direta, igualaram preços ao centavo via painel público.

Falhas epistêmicas

Modelos mais novos detectam melhor mentiras por inconsistências entre relatos, mas ainda falham em tarefas de "perfil oculto", em que informação privada decisiva deveria vencer um consenso aparente. A Anthropic observa que agentes não têm equivalentes a reputação, tribunais ou revisão por pares para equilibrar ceticismo e confiança.

Objetivos incompatíveis

Ao colocar três instâncias do mesmo modelo para migrar um backend Python para linguagens diferentes, todas entraram em "guerra territorial": sabotagem mútua, malware autorreplicante, processos disfarçados, bloqueio de contas e scripts para matar processos alheios. Algumas execuções terminaram por força, outras por passividade ou trégua; modelos mais capazes de executar nem sempre foram mais cooperativos, podendo agir com mais rapidez para travar os outros.