Escolha do harness pouco afeta sucesso de agentes de código, mas muda o custo

{ "resumo": "## O estudo\n\nA pesquisa HarnessTax, publicada pela equipe do Arena, avalia quanto a escolha do harness - o sistema de software que gerencia ferramentas, contexto e execução de tarefas de um agente de código - afeta desempenho e custo. Foram testados 21 pares modelo–harness, envolvendo sete modelos e três harnesses (Claude Code, Codex CLI e Pi), sobre 30 tarefas sorteadas de cada um dos dois benchmarks usados: SWE-bench Lite e Terminal-Bench 2.0. Cada par rodou três vezes por tarefa, com limite de 100 turnos por tentativa, custos calculados com uma tabela de preços fixa de API datada de 1º de setembro de 2026, e intervalos de confiança de 95% estimados por bootstrap com 10 mil reamostragens.\n\n## O harness afeta custo mais que acerto\n\nO mesmo modelo costuma atingir taxas de sucesso parecidas em custos muito diferentes. Claude Fable 5, por exemplo, resolveu 97,8% das tentativas no Claude Code, 96,7% no Codex e 96,7% no Pi - mas o Claude Code custou cerca de duas vezes mais que o Pi (US$ 1,33 contra US$ 0,67). No agregado, o Claude Code custa cerca de 2,0 vezes mais que o Pi e 1,6 vezes mais que o Codex no SWE-bench Lite, e 1,5 vezes mais que o Pi no Terminal-Bench 2.0 (médias geométricas das razões de custo). O efeito médio do harness sobre a taxa de sucesso fica dentro de ±2% no SWE-bench Lite e cerca de ±5% no Terminal-Bench 2.0. Os autores chamam essa diferença de preço de qualidade equivalente de "harness tax": um custo oculto pago quando se aceita o harness padrão sem comparar alternativas.\n\n## Um harness simples pode ser competitivo\n\nO Pi, harness minimalista e de código aberto com apenas quatro ferramentas (leitura, escrita, edição e bash), alcança a fronteira de Pareto nos dois benchmarks, tanto em custo quanto em sucesso. A análise dos custos sugere que a diferença começa na primeira chamada ao modelo: o contexto inicial médio do Claude Code é mais de 10 vezes maior que o do Pi, devido a instruções mais longas e esquemas de ferramentas maiores - embora o gasto total também dependa de caching, tokens gerados e chamadas posteriores. Para Fable 5 no SWE-bench Lite, Pi e Claude Code registraram números de turnos quase idênticos (15,4 e 15,3 por tentativa), mas o Claude Code custou o dobro por um ganho de sucesso de apenas 1,1%. Para os autores, a complexidade do harness deve ser tratada como uma troca empírica, e o desempenho de Pi e Codex mostra que pesquisadores podem estudar harnesses de ponta sem acesso a sistemas proprietários.\n\n## Modelos funcionam bem fora do harness do próprio fornecedor\n\nEmbora fornecedores afirmem otimizar modelos para seus próprios ambientes - a OpenAI descreve o GPT-5-Codex como otimizado para engenharia de software no Codex -, entre os seis modelos da Anthropic e da OpenAI nos dois benchmarks, um harness alternativo obteve a maior taxa de sucesso observada em nove das doze comparações. Exemplos: Sonnet 4.6 alcançou 68,9% no Codex contra 66,7% no Claude Code no SWE-bench Lite, a custo similar; GPT-5.6 Sol atingiu 83,3% no Pi contra 78,9% no Codex no Terminal-Bench 2.0, por cerca de metade do custo (US$ 0,42 contra US$ 0,76). Isso sugere que as capacidades dos modelos são generalizáveis entre harnesses.\n\n## Conclusão e limitações\n\nA conclusão central é que o mesmo modelo pode atingir taxas de sucesso similares a custos substancialmente diferentes, e que harnesses simples e abertos podem ser competitivos. Os próprios autores res