IAs que escolhem ferramentas: Claude Code, Codex e Cursor discordam
O experimento
A Armature, empresa que vende serviços de crescimento para ferramentas de desenvolvimento, conduziu o que descreve como o maior experimento sobre como agentes de código escolhem ferramentas: 16.893 sessões medidas, das quais 5.292 foram consideradas válidas e publicadas na primeira onda, abrangendo 51 repositórios, 18 setores e três agentes - Claude Code, Codex e Cursor.
Metodologia
A equipe analisou milhares de repositórios públicos no GitHub para extrair estatísticas de linguagens, frameworks e serviços de terceiros, corrigindo vieses da amostra. A partir disso, montaram 75 repositórios em 10 linguagens, com nomes de empresas fictícias, histórias de git falsas, chaves de API falsas e lockfiles reais verificados em registros como npm. Cada experimento partia de uma tarefa real feita por um de quatro perfis: vibe-coder, engenheiro júnior, engenheiro sênior e engenheiro de grande empresa, totalizando 1.163 variações de prompt. Em 20–25% dos casos, adicionaram menções específicas como custos ou volume de uso. As sessões rodaram em sandboxes efêmeras, rotando entre E2B, Blaxel e Daytona. Um "humano simulado" orquestrado por Gemini 3.7 Flash conduzia conversas mais realistas; os autores notaram que pedir implementação direta sem chance de aprovação enviesava o agente a construir tudo internamente. Outra instância de Gemini 3.7 Flash atuou como juiz, validando sessões e identificando vencedores a partir das conversas e dos diffs de código.
Cinco achados principais
1. Fontes diferentes, conclusões divergentes. Cursor baseia decisões na web em 2/3 das sessões. Codex quase sempre busca na web (94%), mas em 9 de 10 buscas usa operadores como site: para focar em domínios confiáveis. Claude Code depende principalmente de seus priors, buscando na web em cerca de 30% dos casos - embora, quando busca, navegue 3x mais páginas que o Codex; em setores recentes como sandboxes, busca na web cerca de 80% do tempo. Os três agentes escolhem a mesma ferramenta em apenas 42% dos casos: em voice agents, por exemplo, Claude Code escolhe Twilio, Codex escolhe a OpenAI Realtime API e Cursor vai de Vapi. Claude Code também constrói soluções internas quase o dobro (19% vs. 10%).
2. O contexto do repositório é decisivo. O mesmo pedido em quatro linguagens produziu quatro vencedores de e-mail: Resend em TypeScript (55/89), SendGrid em Python (22/24), Postmark em Go (20/24) e Azure ACS em Java (22/23). Vercel vence em repositórios TypeScript (100% com NextJS), mas nunca foi recomendada em Python, onde Render domina.
3. Ser citado não é vencer. PayPal foi citado 139 vezes e nunca escolhido (Stripe venceu 124 dessas 139 sessões); Adyen teve 175 menções e 3 escolhas; LangChain, 194 menções e 4 escolhas; Netlify, 152 menções e 6 escolhas; Supabase, 242 menções como banco de dados, mas dominado pela Neon.
4. Detalhes das páginas viram escolhas. Mailgun perdia para Postmark quando agentes liam "retenção de 1 dia" no plano gratuito; Supabase perdia pelo pacote com recursos extras (auth, storage, realtime) quando o agente queria apenas um banco. Das 5.3k sessões, 388 mencionaram custo operacional de plataforma e 195 mencionaram custos - muitas vezes pela forma de apresentar a informação, não por um dado desqualificante.
5. Mercados dominados e disputados. Stripe venceu 9 em 10 casos, perdendo apenas em cenários regulados na UE para Paddle e Mollie. Neon venceu 66%, seguida das soluções nativas das nuvens. Amazon S3 domina armazenamento de arquivos com 45%, com Azure e GCP a 20% cada. Resend (35,6%) e Postmark (27,4%) lideram de perto em e-mail.
Conclusão
A Armature afirma que isso é só o começo: os traces completos estão públicos e a empresa pretende continuar publicando análises sobre como agentes de código escolhem serviços de terceiros. O contexto importa para desenvolvedores que avaliam confiar no julgamento do agente e, segundo o estudo, ainda mais para fornecedores - a Vercel compartilhou em abril que mais de 30% dos deployments eram iniciados por agentes de código, alta de 1.000% em seis meses.