Anthropic testa agentes Claude negociando preferências humanas

O experimento

A Anthropic realizou o Project Swap, um mercado em miniatura para estudar o que funciona e o que quebra quando agentes de IA negociam em nome de pessoas. Cerca de 201 funcionários, em seis escritórios (San Francisco, Nova York, Londres, Seattle, Washington DC e Dublin), levaram um livro para doar e conversaram por cerca de cinco minutos com um agente Claude sobre seus gostos de leitura. Os agentes então foram a um piso de negociação digital para trocar livros entre si, com o objetivo de cada participante levar para casa uma leitura de verão do agrado dele.

Para medir a representação, cada participante também ranqueou 10 livros do seu pool, servindo de referência que os agentes nunca viram. O ranking construído pelo Claude a partir da conversa curta coincidiu com o do participante em 61% dos pares de livros (adivinhação aleatória acertaria 50%). Comparações simples ficaram atrás: popularidade no Open Library (53%) e filtragem colaborativa (55%). Escrever cerca de 300 palavras em vez de 150 na entrevista previu cerca de 4 pontos percentuais a mais de concordância.

O que limitou os resultados

Os agentes negociaram bem; a falha principal foi na compreensão das preferências. Em média, participantes ficaram com livros equivalentes ao 5º lugar de uma lista de 10 (escore 0,55). O ótimo utilitário, considerando disputas pelo mesmo livro, seria 0,89. Calculando a melhor alocação possível a partir dos rankings do Claude, mas pontuando pelos rankings reais, o resultado é 0,60: cerca de 85% do déficit veio da representação imprecisa das preferências, e apenas 15% do pregão descentralizado em si. Uma vez que o mercado roda sobre rankings ruidosos, o desenho do mercado (como o mecanismo Top Trading Cycles) faz pouca diferença.

Modelos e instruções

A equipe repetiu cada piso de negociação dezenas de vezes, variando modelos e instruções. Modelos mais fortes produziram mercados mais eficientes, ainda que não monotonicamente: nos rankings do Claude, pisos só com Haiku 4.5 chegaram a 0,75 e pisos com Opus 4.8 a 0,88 (ótimo de 0,95), com Sonnet no meio e Fable 5 próximo, mas abaixo, do Opus. Em pisos mistos, o modelo mais forte geralmente saiu na frente, e a escolha do modelo importou mais do que as instruções dadas aos agentes.

Metade dos agentes foi instruída a ser "implacável" (foco apenas no dono) e metade "pró-social" (também preocupada com o resultado coletivo). Os implacáveis saíram cerca de 0,02 melhor nos rankings do Claude - diferença pequena perto dos 0,12 ganhos ao migrar de Haiku para Opus. Agentes pró-sociais aceitaram um livro pior no próprio ranking duas vezes mais Often, em casos raros, chegando a sacrificar escolhas após apelos de agentes sem alternativa.

Comportamento e satisfação

Analisando as mensagens de 205 execuções, os agentes raramente revelaram rankings detalhados, mas frequentemente citaram o livro favorito (78% a 96%, conforme o modelo) e quase nunca mentiram sobre isso (cerca de 1 em 100). A equipe identificou 16 táticas comuns, agrupadas em pressão sobre outros agentes, apresentação do livro e arranjo de trocas, incluindo listas de espera e agentes "corretoras".

Na pesquisa final, a satisfação média com o livro recebido foi 7,2 de 10, e cerca de metade disse ter recebido um livro melhor do que escolheria sozinho. Em média, participantes disseram entregar cerca de 30% do orçamento anual de livros a um agente - contra cerca de 40% que dariam a um amigo bem informado. Quem achou que o resumo do Claude não havia omitido nada do inhale conversaria daria 34% do orçamento; quem notou omissões, 23%.

Limitações e implicações

Os autores listam ressalvas: participantes são funcionários da Anthropic, possivelmente mais confiantes no Claude; não houve incentivos financeiros; todos os agentes eram modelos Claude cooperativos, sem agentes adversariais; e as regras do mercado foram fixas. Houve ainda falhas práticas: alguns livros nunca chegaram ou sumiram da prateleira, sem sistema de rastreio.

Para os autores, o experimento aponta dois desafios para mercados de agentes: verificar se o agente entendeu a pessoa (com testes de amostra de decisões, inspirados em exigências como as da SEC para robo-advisors) e definir regras de mercado - quem pode entrar, o que acontece quando um acordo falha, sistemas de registro de agentes e credenciais de pessoa humana, equilíbrio entre observabilidade e privacidade, e limites de taxa para evitar congestionamento. Um participante também observou que as fricções humanas, como folhear livros, fazem parte do valor da experiência de ler.