TxBench-AB avalia LLMs em descoberta de anticorpos

O benchmark

Pesquisadores da LatchBio apresentam o TxBench-Antibody Discovery, um benchmark com 100 avaliações ancoradas em estudos experimentais públicos que medem se agentes de IA tomam decisões corretas de descoberta terapêutica de anticorpos - de avaliação de alvos e desenho de ensaios a farmacologia celular, engenharia de anticorpos e desrisco de candidatos. Diferente de benchmarks anteriores focados em predição de propriedades moleculares (como Therapeutics Data Commons, FLAb e o desafio AIntibody), o TxBench avalia decisões de pesquisa consequenciais, com correção determinística que exige tanto a decisão final quanto as grandezas que a sustentam. O trabalho estende a abordagem centrada em decisões do anterior TxBench-PP, que cobria farmacologia pré-clínica de pequenas moléculas.

Resultados gerais

Foram testadas 20 combinações de modelo e harness, com três tentativas por avaliação. A melhor configuração foi Opus 5 com Claude Code, com 53,0% de aprovação (152 de 287 tentativas avaliáveis) - ou seja, a taxa de fracasso ficou próxima da metade. Quatro configurações da xAI e do Google ficaram próximas, dentro de três pontos percentuais: Grok 4.6 com PI (51,7%) e Grok Build (51,0%), Opus 5 com PI (51,4%) e Gemini 3.7 Flash com PI (50,0%). As configurações da OpenAI ficaram para trás: GPT-5.6 Sol passou 33,3–33,8%, GPT-5.5 31,5–33,6%, GPT-5.6 Terra 29,7–31,0% e GPT-5.6 Luna 18,2–19,1%.

As diferenças foram reprodutíveis: 91 avaliações foram resolvidas em pelo menos duas de três tentativas por alguma configuração, 80 foram resolvidas nas três, e 89 foram resolvidas por modelos de pelo menos duas famílias. Comparações diretas por avaliação mostraram que Grok 4.6 e Gemini 3.7 Flash rivalizam com o Opus 5 por forças complementares - o desempenho agregado parecido não significa que os modelos resolvem as mesmas questões. Já o déficit de GPT-5.6 Sol refletiu uma falha generalizada, não poucas falhas catastróficas.

Custo não prevê acurácia

O consumo de recursos variou bastante, mas não se traduziu consistentemente em desempenho. Opus 5 com Claude Code custou cerca de US$ 1,70 por execução, com 1,12 milhão de tokens e 21 chamadas de ferramenta; Grok 4.6 com PI alcançou 51,7% gastando US$ 0,59 e 0,50 milhão de tokens, um dos melhores trade-offs acurácia–recurso. Gemini 3.7 Flash com PI chegou a 50,0% por US$ 0,46, mas com 1,87 milhão de tokens. Na outra ponta, GPT-5.6 Luna foi o mais barato (US$ 0,06–0,07) e o pior em taxa de aprovação, e Opus 4.8 custou US$ 1,99–2,38 sem liderar.

A análise de trajetórias explica o fenômeno: computação adicional ajuda quando resolve uma incerteza específica na evidência, mas também pode prolongar análises construídas sobre uma comparação ou interpretação biológica incorreta, propagando o erro inicial.

Onde está a falha: julgamento científico

Entre 3.517 tentativas incorretas avaliáveis, apenas 17,7% decorreram de erro na escolha ou implementação de método computacional; 82,3% se referiram à interpretação em descoberta de fármacos: definir população ou endpoint errado, transportar evidência além do contexto medido, ignorar restrições de validade de ensaio, conclusões causais sem suporte ou otimizar o objetivo errado de desenvolvimento. A maior classe (34,7%) envolveu escopo, denominador ou estimando errados. Os agentes tipicamente executaram cálculos internamente consistentes que respondiam a uma pergunta cientificamente adjacente.

GPT-5.6 ilustra o padrão: acessou os arquivos certos e reproduziu razões intermediárias corretas, mas adotou uma política de decisão permissiva, falhando em 85% das tentativas com questões de portabilidade entre contextos e 73% das que exigiam veto por validade de ensaio.

Nenhum líder único

O ranking mudou conforme a competência: Opus 5 liderou avaliação de alvos (71,3%), farmacologia celular e mecanismo (68,8%) e geração de binders (82,5%); Grok 4.6 dominou desenho de antígenos e reagentes (87,5%), ligação e cinética (59,0%) e desrisco de candidatos (55,8%); Gemini 3.7 Flash foi melhor em epitopo, escape e mecanismo estrutural (55,6%); GPT-5.6 Sol destacou-se em sequência, linhagem e enriquecimento (56,7%). O desenho de ensaios e funis de triagem foi difícil para todas as famílias, com máximo de 40,5%. Os autores concluem que os agentes atuais ainda não são confiáveis para transformar evidência experimental em decisões defensáveis de descoberta de biológicos, e que os fracassos são sobretudo de enquadramento científico, não de execução analítica.