Benchmark DAYJOB avalia agentes em tarefas financeiras completas

O benchmark

A Surge AI lançou o DAYJOB: Finance, um benchmark que avalia agentes de IA em tarefas financeiras de longo horizonte, abrangendo finanças corporativas, bancos, crédito, investimentos e ativos reais. A proposta é reproduzir a realidade do trabalho de conhecimento: pedidos realistas, ambientes complexos e julgamento profissional de ponta a ponta, em vez de instruções que dizem exatamente ao modelo o que fazer. A empresa também mantém um benchmark irmão, o DAYJOB: Healthcare, para agentes em fluxos clínicos, operacionais, de pagador, farmácia e compliance.

Resultados do leaderboard

Um estudo associado, executado sobre nove modelos em ambientes de RL, identifica cinco capacidades centrais que os agentes precisam dominar: uso de ferramentas, planejamento, adaptabilidade, fundamentação em dados e senso comum. No ranking de finanças, o melhor resultado é do Claude Opus 5.5 (Adaptive/Max), com 23,9%, seguido por GPT 6 Astra (21,5%) e Claude Fable 5.1 (19,8%). A cauda é dura: DeepSeek V4 Flash, Gemini 3.1 Pro, Inkling, Kimi K2.7 Code, Mistral Large 3, Muse Glimmer 30B e Nemotron 3 Ultra marcam 0%. No benchmark de saúde, Claude Opus 5.5 lidera com 24,7%, e GPT 6 Astra fica em segundo com 11,6%.

Exemplos ilustrativos de falhas

Os casos de teste publicados mostram como os agentes falham em detalhes práticos. No primeiro exemplo, o Grok 4.6 aprova uma expansão de lojas da rede fictícia Dreamy sem detectar que as previsões somavam 'Returns & allowances' às vendas brutas em vez de subtraí-las, além de usar uma tarifa de importação desatualizada de 2021 e uma taxa de juros antiga de 3,25% em vez dos 5,25% vigentes. O gabarito espera que o agente corrija o EBITDA (de US$ 8,12 milhões para US$ 4,4–6,4 milhões), perceba que o alavancamento pró-forma de ~2,66x é inválido e conclua que a expansão violaria o convênio de dívida de 3,00x - ou seja, um 'não prosseguir' baseado em capacidade de financiamento.

No segundo caso, o GPT 5.6 Sol deveria revisar relatórios de um fundo de mercados emergentes e não identificou que o preço do título Nerovexa (CV-1059) estava cotado em centavos sul-africanos em vez de rands, superestimando a posição em cerca de US$ 25,7 milhões. O gabarito exige recomendar a retenção dos relatórios até a correção e a reexecução dos relatórios afetados.

No terceiro, o Qwen 3.8 Max foi encarregado de comparar custos de processamento de cheques internos versus terceirizados. O gabarito indica que grandes volumes do registro eram desembolsos eletrônicos, não cheques impressos, e que a análise correta deveria excluir essas linhas, além de aplicar o mínimo mensal de US$ 250 em 2025 - o que muda a recomendação para contrária à terceirização. O modelo recomendou adotar o serviço.

Conclusão

Os números gerais - nenhum modelo acima de ~24% - e os exemplos de falha reforçam a tese da Surge AI: tarefas profissionais completas, com armadilhas de dados e julgamento financeiro encadeado, ainda estão muito além do que os melhores agentes conseguem executar de forma confiável.