Claude Fable 5.1 iguala Opus 5 com custo menor em benchmark de Rails

Novo topo do benchmark

O Claude Fable 5.1 foi lançado no dia anterior à publicação e, no benchmark Agents on Rails, igualou o Claude Opus 5 em acurácia: 58 execuções resolvidas de 63 (92%), mesmo placar que colocava o Opus 5 sozinho na liderança. Também passou em 20 das 21 tarefas ao menos uma vez. A diferença está nos demais indicadores: o Fable 5.1 custou US$ 75 pelas 63 execuções, com mediana de 5,4 minutos por execução; o Opus 5 custou US$ 120 e levou 9,7 minutos; a geração anterior, Fable 5, fez 57 de 63, custou US$ 146 e levou 6,8 minutos. A conta do Fable 5.1 é cerca de 50% menor que a do Fable 5 e 40% menor que a do Opus 5. Ele também é o modelo mais rápido do topo, empatado com Sol.

O Fable 5.1 parece menos propenso a confundir uma tarefa de segurança com um problema de segurança. No primeiro relatório, o Fable 5 falhou nas três tentativas de uma tarefa formulada como relatório de pen-test; o Fable 5.1 leu o mesmo relatório e corrigiu todas as descobertas.

Recall de APIs Rails

O benchmark também voltou a medir o recall de APIs Rails do Fable 5.1. Cada tarefa aponta para uma API específica que a solução ideal deveria usar; uma implementação manual pode passar nas verificações, mas não é o jeito Rails. Até então, as pontuações iam de 8% a 35%. O Fable 5.1 alcançou 41%. Segundo o texto, a melhora não é apenas um modelo mais novo reconhecendo APIs mais novas: quote_column_name é quase tão antiga quanto o Active Record, e nenhum modelo anterior a mencionou sem ser provocado.

GLM 5.3 Flash sai do stealth

O modelo stealth ox-alpha da rodada anterior foi identificado como GLM 5.3 Flash, da Z.ai. O slug secreto foi aposentado e as 63 tentativas foram reexecutadas sob o nome e o preço reais. O resultado acompanhou os números de pré-lançamento: 52 de 63 (83%), com custo total de US$ 3,31. A cinco centavos por execução, o Flash é descrito como uma boa opção de custo-benefício; ele iguala os 83% do Grok 4.6 por um quinze avos do custo.

Metodologia e próximos passos

Os testes seguiram o harness lemans, níveis de esforço padrão, três tentativas por tarefa em 21 tarefas atômicas do Writebook e verificação oculta. Os resultados vêm de um número relativamente pequeno de execuções - três por tarefa, uma escolha entre tempo de execução e acurácia. O Fable teve desempenho melhor nos runs preliminares, completando cerca de 95% das tarefas, mas teve azar na execução oficial. Os runs brutos estão em rails/ai-evals. A página Agents on Rails ganhou os níveis de esforço padrão usados no benchmark e gráficos atualizados; agora os melhores modelos aparecem no canto superior direito. Há um empate no topo: dois modelos marcam 92% e ambos foram barrados pela mesma tarefa. Como o corpus atômico está começando a ficar sem espaço, a equipe prepara tarefas maiores e mais realistas para a Stage 2.