Salesforce mostra que treinar modelos em harness já otimizado piora agentes

O que o harness muda

O artigo (arXiv:2609.09134, submetido em 8 de setembro de 2026) parte da premissa de que o harness de um agente - o prompt de sistema, o conjunto de ferramentas, os ganchos de execução e a estrutura de gerenciamento de contexto em torno do modelo - é um determinante crítico do sucesso em tarefas agênticas. Segundo os autores, a evolução automatizada do harness pode permitir que modelos menores tenham bom desempenho em tarefas específicas de domínio por uma fração do custo de um modelo de fronteira.

O experimento e a regressão

Como tanto o harness quanto os pesos do modelo moldam o comportamento, os autores perguntam como combinar evolução de harness e ajuste fino leve. Em sete tarefas empresariais de agentes, eles primeiro evoluíram um harness com o modelo mais fraco e, em seguida, verificaram que um especialista mais forte costuma usá-lo de forma mais eficaz, o que sugere que a supervisão do especialista poderia fechar a lacuna restante.

No entanto, treinar o modelo mais fraco com as trajetórias completas do especialista sob o harness evoluído piora o resultado: há regressão nas sete tarefas, de 4 a 30 pontos, tanto em Qwen3-Coder quanto em Gemma 4 - ainda que o mesmo procedimento ajude quando aplicado sob o harness não evoluído.

Por que a imitação falha

A análise apresentada indica que a imitação transfere conhecimento e aumenta o uso do andaime, mas rompe o ajuste entre modelo e harness: o modelo mais fraco adota a estratégia de planejamento do especialista sem ter a competência para executá-la e deixa de corresponder ao harness que havia sido evoluído em torno de seu estilo nativo de planejamento.

A correção sob política

Os autores desenvolvem então um pipeline de correção por especialista em política própria (on-policy), automatizado por um agente de MLE de nível meta. Esse pipeline localiza o turno que falha na própria trajetória do modelo mais fraco e pede ao especialista que reescreva apenas esse turno. A abordagem preserva o estilo de planejamento do modelo e combina os ganhos da evolução do harness com os da adaptação de pesos.

Conclusão

O trabalho identifica e resolve uma fonte de conflito entre atualizações de harness e de pesos, propondo uma receita que preserva a compatibilidade para a coevolução econômica em tarefas empresariais específicas de domínio.