APEX-Accounting: benchmark de IA para produtividade contábil

O benchmark

A Mercor, em colaboração com a Ramp, lançou o APEX-Accounting, um benchmark que avalia se agentes de IA conseguem realizar trabalho contábil real segundo padrões profissionais. Diferentemente de testes que verificam se um modelo acerta uma resposta isolada, o APEX-Accounting exige que o agente concilie arquivos conflitantes, aplique contexto específico de cada empresa, mantenha conclusões ao longo de múltiplas etapas e produza resultados corretos de forma consistente.

O benchmark inclui 160 tarefas distribuídas em 10 empresas simuladas. As tarefas e rubricas foram criadas por profissionais com experiência em firmas como Deloitte, PwC, EY e KPMG, contratados via plataforma da Mercor. Mais de 40 contadores participaram, com mediana de 11 anos de experiência.

Resultados principais

O dado mais marcante não é qual modelo lidera, mas a baixa consistência geral. Cada modelo foi executado oito vezes por tarefa, pois trabalho contábil exige correção repetida, não acerto pontual. Mesmo o modelo mais consistente resolveu corretamente apenas 2,6% das tarefas em todas as oito execuções.

No ranking geral (média de critérios), Claude Fable 5 lidera com 56,4%, seguido por Meta Muse Spark 1.1 com 52,6% e GPT-5.6 Sol com 51,5%. No Pass@8 (acerto em pelo menos uma de oito tentativas), Muse Spark 1.1 fica à frente com 21,5%, contra 20,1% do Fable 5.

58% das tarefas nunca foram resolvidas completamente por nenhum modelo em nenhuma execução. Ao mesmo tempo, pelo menos um modelo obteve crédito parcial em mais de 95% das tarefas - ou seja, os modelos chegam perto, mas raramente completam.

Desempenho vs. custo

Foram testados orçamentos de $1, $5, $10 e $50 por tarefa. Fable 5 é extremamente sensível ao orçamento: salta de 11,8% com $1 para 55,2% com $50. Muse Spark 1.1 é o oposto - já performa bem com orçamento baixo e quase não melhora com mais dinheiro. Com o teto de $50, Fable 5 gasta ~$32 por execução enquanto Muse Spark 1.1 gasta ~$5, e as pontuações ficam a apenas 4 pontos percentuais de diferença.

Por que os modelos falham

Cerca de 70% das falhas vêm de raciocínio defeituoso, não de incapacidade de encontrar a informação correta. Um modelo pode identificar corretamente uma discrepância no início do fluxo e depois omitir ou contradizer essa constatação no lançamento contábil final. Melhorar a recuperação de informação não resolve o problema; é necessário julgamento contábil mais sólido e disciplina para manter conclusões ao longo de todo o workflow.

Escopo e metodologia

Cada tarefa ocorre num mundo autocontido: empresa fictícia congelada no fechamento mensal, com contas, registros, histórico, software contábil, planilhas e PDFs. Cada rubrica tem em média 13,7 critérios. Um juiz de IA open-source faz a avaliação e atinge 97% de concordância com avaliadores humanos.

O benchmark foca em fechamento mensal e bookkeeping. Não cobre tributos, auditoria, consolidação, multi-entidade, multi-moeda ou relatórios externos. Um conjunto amostral com 1 empresa e 10 tarefas foi liberado no Hugging Face, e o framework Archipelago está disponível no GitHub.