LLMs open-weight alcançaram paridade de precisão com modelos fechados

O benchmark ClinReg

A equipe da Log10 criou o ClinReg, um benchmark voltado a tarefas regulatórias e de ensaios clínicos em ciências da vida - uma área que, apesar de concentrar a maior parte do tempo e do custo de desenvolvimento de fármacos (cerca de US$ 1,07 bilhão e 95 meses por droga aprovada, segundo o CBO), não tinha um equivalente público de avaliação de IA. O benchmark cobre três tarefas: triagem de literatura (baseada em uma revisão Cochrane sobre tuberculose), redação do Módulo 3 de um IND (a partir de um EPAR público de um anticorpo-conjugado) e geração de TLFs (tabelas, listagens e figuras) a partir do dataset CDISC Pilot.

Resultado principal: paridade de precisão

Foram avaliados 19 modelos (12 proprietários e 7 open-weight). O GPT 5.6 Sol obteve o maior score geral (88,4), seguido de perto pelos open-weight GLM 5.2 (87,4) e Kimi K3 (86,9) - ambos dentro de um desvio padrão do líder. A diferença de custo é expressiva: o GLM 5.2 custou cerca de 1/3 do GPT 5.6 Sol e aproximadamente 1/10 do Opus 5 por execução.

Os melhores modelos open-weight dos EUA ficaram na parte inferior da tabela: Gemma 4 (73,5) e Nemotron 3 Ultra (70,3). Os modelos Fable 5 e Muse Spark 1.1 recusaram as tarefas por gatilhos de segurança biológica e foram excluídos.

Observações por tarefa

• Triagem de literatura: desempenho agrupado entre 85–94%. A diferença está no perfil de erro - alguns modelos privilegiam recall, outros são mais conservadores.
• IND (Módulo 3): o diferencial foi o equilíbrio entre cobertura e fidelidade. Modelos como GPT 5.6 e Kimi K3 evitaram fabricar dados ausentes; outros (MiniMax M3) inventaram valores, e alguns (Gemini 3.1 Pro) omitiram conteúdo real por excesso de cautela.
• TLF: todos geraram Python sintaticamente válido na primeira tentativa. O que separou os modelos foi a capacidade de iterar com o validador até os checks passarem. GLM 5.2 e Kimi K3 iteraram até convergir; Gemma e DeepSeek V4 iteraram muito sem convergir.

Lições de avaliação

• Não confiar em um único LLM como juiz: diferentes modelos atribuem scores em escalas diferentes e mostram viés de auto-preferência variável. A solução foi usar painel de juízes com evidências verificadas contra a fonte e um "chairman" para consolidar.
• Métricas determinísticas ajudam: taxas de omissão e fabricação (sobre 108 campos extraídos) revelaram modos de falha distintos - Opus 4.8 omitia mais, GLM 5.2 fabricava mais.
• O harness é parte do modelo: validadores, critérios de parada e comportamento de retry influenciam tanto quanto o modelo em si.

Conclusões

A paridade de precisão entre open-weight e fechados muda a conversa: a escolha de modelo passa a ser sobre perfil de erro, custo e infraestrutura, não sobre capacidade bruta. A complexidade não desaparece - migra para a engenharia do harness, dos validadores e da infraestrutura de inferência.