ToolGrad cria dados de uso de ferramentas a partir de APIs verificadas

O ToolGrad é um framework de geração de dados que inverte o paradigma tradicional para ensinar modelos de linguagem a usar ferramentas: em vez de criar primeiro a pergunta do usuário e depois procurar a solução, ele gera primeiro uma cadeia de uso de ferramentas verificada e só então anota a consulta correspondente. A pesquisa foi apresentada na ACL 2026 e conduzida principalmente por Zhongyi Zhou durante um período como pesquisador visitante no Google.

O gargalo do paradigma "pergunta primeiro"

Para treinar LLMs em fluxos agênticos - como fazer uma busca no Google, ler arquivos locais ou executar scripts Python gerados -, é preciso ter conjuntos de dados com cadeias de uso de ferramentas e as consultas de usuário correspondentes. Em um trabalho anterior (InstructPipe), a anotação era manual, o que não escala para fine-tuning avançado. Abordagens seguintes, como ToolBench e ToolACE, passaram a usar um agente para procurar um caminho de uso por tentativa e erro, em dois passos: gerar uma instrução hipotética de usuário a partir de um conjunto amostrado de APIs e, depois, usar um agente de busca em profundidade (DFS) para encontrar a solução. Segundo os autores, esse método é inerentemente ineficiente, porque sua lógica central é destilar trajetórias valiosas de uma exploração complexa de agente.

Quatro módulos guiados por "gradientes textuais"

O ToolGrad adapta o conceito de gradientes textuais do TextGrad - no qual um crítico LLM fornece feedback descritivo em texto que orienta o refinamento de um prompt - para a geração de dados sintéticos. Em vez de otimizar um prompt estático, usa esses gradientes para construir iterativamente fluxos de API complexos e válidos a partir de grandes bibliotecas de ferramentas.

O framework tem quatro módulos que se sucedem:

• API Proposer: estreita um conjunto amostrado de APIs para poucos candidatos promissores capazes de estender o fluxo atual.
• API Executors: testam as APIs selecionadas em paralelo e produzem relatórios de execução detalhados.
• API Selector: revisa os relatórios e escolhe a única chamada de melhor desempenho, que funciona como gradiente textual - feedback direcional - e é anexada ao fluxo.
• LLM Updater: revisa a consulta sintética e a resposta da IA para que correspondam ao novo conjunto de APIs.

Ao repetir esse ciclo, obtém-se uma amostra com consulta de usuário, fluxo de APIs verificado e resposta final da IA.

Experimentos e resultados

Usando o ToolBench como base de APIs, com mais de 16 mil APIs do mundo real, os autores compararam o método "pergunta primeiro" com DFS ao ToolGrad. O resultado foi a geração de dados de uso de ferramentas mais complexos (de horizonte longo) e com taxa de aprovação mais alta a custo menor - um dos gráficos cita 99,8% de aprovação com menos passos de otimização.

Com o conjunto ToolGrad-500, foram ajustados modelos Gemma-3 de 1B, 4B e 12B (ToolGrad-1B, 4B e 12B), avaliados no Berkeley Function Calling Leaderboard (BFCL), cujo conjunto de ferramentas difere do ToolBench. As comparações incluíram modelos base sem ajuste, modelos proprietários de ponta (Gemini, GPT e Claude) e modelos especializados em uso de ferramentas (ToolACE e Hammer-2.1-7B). Os achados:

• Melhorias consistentes: o pós-treinamento sobre o ToolGrad-500 eleva o desempenho em todos os tamanhos testados.
• Competitivo com proprietários: o ToolGrad-12B obteve 83,1, próximo de gemini-2.5-pro (83,2) e claude-4.5 Opus (82,8) e acima de gpt-5 (74,4) no momento da publicação.
• Auto-evolução: o ToolGrad-500 foi gerado com gemini-2.5-flash-lite, e o Gemma-3-12B ajustado com esses dados pode superar seu próprio "professor".
• À frente de outros abertos: o ToolGrad-12B lidera em relação a modelos abertos especializados, incluindo o ToolACE, que foi ajustado sobre uma base de APIs mais avançada.

Conclusão e próximos passos

Os autores afirmam que o paradigma "resposta primeiro" gera dados de uso de ferramentas de forma mais eficiente e confiável, com taxa de aprovação próxima de 100% na geração, e que permite que modelos relativamente compactos tenham bom desempenho - a ponto de modelos "alunos" superarem seus "professores". Como trabalhos futuros, citam escalar o framework para ecossistemas de APIs cada vez mais dinâmicos e vastos e estender a capacidade de auto-evolução para aprendizado contínuo em tempo real, visando personalização ao longo do tempo. Os autores argumentam que, conforme fluxos agênticos se integram a tarefas corporativas e cotidianas, frameworks como o ToolGrad preparam a base para treinar agentes digitais capazes e com custo de implantação escalável.