IBM propõe diretrizes de consistência para agentes que variam entre execuções

O problema: precisão média esconde inconsistência

Pesquisadores da IBM Research apresentam o "consistency gap", uma lacuna que os benchmarks de agentes raramente relatam. Na avaliação padrão, o Mean@k mede a taxa média de sucesso em k execuções - o número dos leaderboards. Já o Pass^k mede a fração de tarefas em que o agente acerta em todas as k execuções. No AppWorld, um agente ReAct baseado em GPT-4.1, rodando a temperatura 0.0, alcança 77,4% de média em cinco repetições, mas acerta todas as cinco apenas em 53,0% das tarefas - uma lacuna de 24,4 pontos, que chega a 30 pontos em tarefas difíceis. Ou seja, quase um quarto do benchmark é composto por tarefas que o agente às vezes resolve e às vezes não, sem nenhuma mudança na tarefa. Para os autores, isso não é um problema de capacidade que se resolve com um modelo maior: é um eixo ortogonal - um agente pode ser capaz e inconsistente ao mesmo tempo. Eles distinguem ainda o Pass^k do Pass@k (otimista, que pede pelo menos um sucesso), observando que Pass^k ≤ Mean@k ≤ Pass@k sempre.

Por que os agentes oscilam

Cada decisão do agente - qual API chamar, qual argumento passar - sai de uma distribuição de probabilidade sobre os próximos tokens. Distribuições "sharp" concentram massa num único token e são resilientes a perturbações de plataforma, como não-associatividade de ponto flutuante em GPUs e batching. Distribuições "flat" têm quase-empates que podem se reordenar sob pequenas perturbações - um efeito quase de moeda ao acaso. Como uma trajetória encadeia dezenas de decisões, pequenas chances por passo se compõem na probabilidade de alguma execução divergir. Decodificação gulosa e seed fixa não resolvem: elas governam como a distribuição vira token, mas não mudam a distribuição; em endpoints hospedados, as probabilidades variam levemente entre execuções.

Diagnóstico e correção

A solução tem duas etapas, integrada ao ALTK-Evolve (sistema que transforma trajetórias passadas do agente em diretrizes reutilizadas na inferência). Primeiro, o Consistency Analyzer recebe uma única trajetória gravada e reamostra cada ponto de decisão com uma chamada extra de LLM (k=5 completions por padrão), contra o contexto já registrado - sem novas chamadas de ferramentas, sem interação com o ambiente, sem reexecutar a tarefa. É totalmente caixa-preta: não exige logits, ground truth nem instrumentação. Isso gera um scorecard que aponta os passos "flip-prone", incluindo passos que acertaram desta vez mas poderiam errar na próxima. Segundo, cada passo sinalizado vira uma diretriz de consistência no formato padrão do ALTK-Evolve. Os exemplos citados - usar regex ancorado em linha em vez de contagem de substring ao contar marcadores de checkbox, e verificar resultados de busca antes de prosseguir - não são específicos de uma tarefa, mas padrões de instabilidade que aparecem em muitas tarefas.

Resultados e generalização

Em 168 tarefas do AppWorld test_normal, com diretrizes geradas de uma única trajetória baseline por tarefa, o Pass^5 agregado subiu de 53,0% para 69,0% e o Mean@5 de 77,4% para 81,0%, reduzindo a lacuna de 24,4 para 12,0 pontos. Os níveis médio (+22,9pp) e difícil (+14,3pp) ganharam mais. Manter a precisão média era requisito obrigatório: ela não caiu em nenhum nível. As diretrizes também generalizam: aplicadas a uma tarefa diferente, porém relacionada, no mesmo cenário, elevam o Pass^5 em +13,0pp. Com o modelo mais fraco gpt-oss-120b, o ganho same-task foi de +6,0pp (10,1% → 16,1%) e o ganho em tarefa similar (+8,7pp) superou o mesmo-tarefa, sugerindo captura de padrões de falha reutilizáveis em vez de memorização de uma trajetória.

Recomendações para quem opera agentes

Os autores recomendam reportar Pass^k junto com Mean@k (mesmo k=3 já revela a lacuna), esperar que a lacuna cresça com a dificuldade das tarefas, não recorrer primeiro a um modelo maior - consistência é ortogonal a capacidade - e aproveitar que o diagnóstico exige apenas uma chamada por passo de decisão, sem replay da tarefa, o que o torna aplicável a tráfego de produção. O Consistency Analyzer e a geração de diretrizes de consistência foram incluídos no repositório open-source do ALTK-Evolve, e a metodologia completa está em relatório técnico no arXiv.