Consenso entre LLMs juízes pode ser ilusão, mostra método da Amazon

O problema: consenso que parece mais forte do que é

Pesquisadores da Amazon Science apresentaram, no ICML 2026, o artigo "Dependence-aware label aggregation for LLM-as-a-judge via Ising models", de Krishna Balasubramanian, Sasha Podkopaev e Shiva Kasiviswanathan. A tese central: quando um painel de modelos LLM usados como juízes concorda, a contagem de votos pode exagerar a força da evidência, porque os juízes não erram de forma independente.

O artigo usa o exemplo de um sistema RAG em que 8 de 10 juízes dizem que um texto recuperado é relevante. Oito votos parecem convincentes, mas a questão relevante não é só quantos concordaram, e sim quão independentes foram essas opiniões. Juízes que compartilham template de prompt, linhagem de treinamento, família de modelos ou o mesmo ponto cego podem estar repetindo o mesmo erro - e os baselines usuais tratam os erros como independentes.

Painel como rede

Os autores propõem tratar o painel de juízes como uma rede: cada juiz mantém seu perfil de confiabilidade, mas também há dependências em pares - alguns juízes concordam mais do que seus perfis individuais preveriam, inclusive em erros compartilhados. Para modelar isso, usam um modelo de Ising, que representa dependência entre variáveis binárias.

O método é não supervisionado: aprende a partir dos outputs dos juízes, tratando o rótulo verdadeiro de cada item como variável latente a ser inferida junto com os parâmetros de confiabilidade e dependência; rótulos humanos servem só para medir a acurácia depois. O algoritmo alterna entre estimar probabilidades suaves dos rótulos e reestimar confiabilidade e dependência a partir delas.

São duas variantes: uma assume que o padrão de dependência é o mesmo para rótulos positivos e negativos, mantendo uma decisão interpretável como voto ponderado com pesos ajustados por correlação; a outra, dependente de classe, permite que o padrão mude com o rótulo - útil quando a estrutura de concordância carrega informação de classe, mas exige mais dados.

Resultados

Em três tarefas binárias - classificação de relevância para texto recuperado, detecção de toxicidade e avaliação de sumarização - com painéis de 10 juízes rodados em temperatura zero, o método superou os baselines de voto majoritário uniforme e ponderado pela acurácia histórica em 9% a 14%. Com todos os 10 juízes e o máximo de dados de treino, os melhores resultados foram: 0,912 de acurácia em relevância (contra 0,820 do voto ponderado e 0,804 do uniforme); 0,792 em toxicidade (contra 0,694 e 0,695); e 0,806 em sumarização (contra 0,737 e 0,561).

Recomendações práticas

Para times que usam pipelines de LLM-as-a-judge, os autores sugerem: avaliar o painel, não só os juízes individuais; tratar diversidade de modelos como diversidade estatística, valiosa apenas se muda os padrões de erro relevantes para a tarefa; inspecionar a estrutura de concordância, pois clusters fortes revelam rubricas compartilhadas ou ambiguidade da tarefa; e reportar incerteza considerando a dependência - dez votos correlacionados não deveriam gerar a mesma confiança de dez votos independentes.

A rede aprendida também serve em auditorias: ajuda a identificar juízes redundantes, pontos cegos compartilhados e se adicionar outro juiz trará evidência nova ou apenas duplicará um viés existente. A conclusão dos autores: quando juízes de IA concordam, é preciso perguntar por quê - às vezes é evidência independente, às vezes é um ponto cego compartilhado.