Juiz de IA decisivo iguala GPT-6 em avaliações por 0,36% do custo

O que foi testado

Uma equipe da Carnegie Mellon University avaliou o TypeSafe JEV, um juiz de IA que retorna apenas um veredito com probabilidades de rótulo, contra 16 outros juízes - 13 hospedados (de GPT-4.1 mini a GPT-6 Astra, incluindo Claude Sonnet 5, Gemini 3 Flash e 3.1 Pro e modelos Qwen) e 4 locais, como PairRM e Skywork-Reward-V2. Divergências entre juízes foram resolvidas por adjudicação humana cega.

O JEV é o primeiro modelo público da TypeSafe AI, em acesso antecipado. A empresa o chama de "modelo System One", em referência ao pensamento rápido de Kahneman: não é um chatbot, mas recebe entrada estruturada e um tipo de saída (escolha de rótulo, sim/não ou nota em rubrica) e devolve um valor tipado com probabilidades calibradas. Em vez de gerar token a token, produz toda a saída em uma passagem paralela, com latência declarada de 70 a 500 ms e preço de $0,042 por milhão de tokens de entrada, com saída gratuita.

Onde o juiz barato funciona - e onde falha

A diferença de custo é o destaque: $0,044 por 1.000 julgamentos contra $12,18 do GPT-6 Astra (277 vezes mais barato), com latência mediana de 0,152 s contra 1,885 s.

O desempenho depende da tarefa:

• Factualidade (HaluEval): 87,5% contra 86,7% - JEV à frente em 0,8 ponto.
• Preferência comum (RewardBench): 92,2% contra 93,5% - queda de 1,3 ponto.
• Adjudicação de resposta final: 94,0% contra 96,7% - queda de 2,7 pontos.
• Corretude difícil (JudgeBench): 78,6% contra 93,1% - 14,6 pontos abaixo.
• Estilo-adversarial (RM-Bench difícil): 74,8% contra 94,6% - 19,8 pontos abaixo.

Os três primeiros intervalos têm 95% de confiança cruzando zero; os dois últimos não. O padrão faz sentido para um juiz que não raciocina em texto: ele julga qual resposta é melhor sustentada, mas não consegue rederivar provas ou cálculos para pegar erros sutis, e é enganado por respostas erradas bem escritas. No JudgeBench, o GPT-6 corrige 60 dos 75 erros do JEV; o JEV corrige só 9 dos 24 do GPT-6.

A confiança como porta de cascata

O JEV também retorna um escore de confiança que se correlaciona de forma confiável com a acurácia: abaixo de 0,6, acerta 47,7%; em 1,0, acerta 99,1%. Isso permite uma cascata: aceitar o veredito quando a confiança passa de um limiar, senão escalar para o GPT-6.

Com τ = 0,9, a cascata escalou 34% dos itens e alcançou 91,3% contra 91,7% do GPT-6, a 47% do custo (cerca de $6,30 por 1.000 julgamentos). Em RewardBench, superou o GPT-6 (94,0% contra 93,5%) a 22% do preço; em JudgeBench, escalou 61% dos itens e ainda custou 62%. Para pares de preferência, os autores julgam as duas ordenações e mediam as probabilidades, pois o JEV inverte a resposta em 3,25% dos pares de RewardBench e 11,14% dos de JudgeBench ao trocar a ordem. Em dados retidos, a cascata com GPT-6 manteve 92,5% contra 93,1% a 57% do custo. Com GPT-5.6 Sol como fallback, porém, o limiar calibrado não transferiu e a cascata perdeu 2,4 pontos - a recomendação é calibrar o τ por fallback nos próprios dados.

Ressalvas

Confiança não é certificado: em pares estilo-adversariais o sinal degrada (AUROC 0,770), e no HaluEval sem o documento-fonte todos os juízes ficam perto do acaso, mas a confiança média permanece em 0,90 a 0,96 - a cascata não captura erros que o juiz desconhece. A calibração também não transfere entre cargas de trabalho. Muitos rótulos eram ruidosos: 24 dos 26 itens de HaluEval errados por ambos tinham gabaritos sem sustentação, elevando as notas corrigidas a 95,8% (JEV) e 98,3% (GPT-6); a adjudicação humana usou um único anotador e a concordância em RewardBench foi baixa (κ = 0,29). O JEV é um produto proprietário único, com dados de treino e possível contaminação de benchmarks desconhecidos, e as taxas das cascatas foram simuladas a partir de preços de API.

A regra prática independe de fornecedor: para avaliações do tipo "qual é melhor" ou "isso é sustentado pelo documento", um juiz barato com porta de confiança entrega quase a acurácia de um juiz de fronteira por fração do custo; para checar matemática, código ou derivações, vale pagar pelo juiz mais forte.