Thinking Machines: expertise no treino bate engenharia de prompt em SQL

Tese central

Um trabalho desenvolvido em colaboração com a Thinking Machines Lab argumenta que, em text-to-SQL, incorporar conhecimento especializado ao treinamento pode ser mais eficaz e barato do que acrescentar camadas de engenharia de prompts e chamadas de modelo. Em vez de manter o modelo fixo e organizar etapas de vinculação de esquema, geração, correção e seleção, os pesquisadores treinaram um modelo com reinforcement learning with verifiable rewards (RLVR), dados revisados por especialistas e recompensas ajustadas para refletir melhor o comportamento desejado.

Dados e treinamento

A pesquisa identificou ruído significativo em conjuntos públicos. Em uma auditoria de 2,5 mil exemplos do BIRD Train, 52,1% tinham SQL de referência incorreto, 26,2% apresentavam problemas na pergunta e 18,2% continham conhecimento externo errado; 61,1% tinham pelo menos um desses problemas. Segundo os autores, erros de rótulo são especialmente prejudiciais ao RLVR, pois a recompensa escalar constitui todo o sinal de aprendizado. Um auditor baseado no o3 teve 90,6% de precisão para detectar erros, mas encontrou apenas 24,5% dos erros apontados por especialistas. Após revisão humana, verificação e resolução de conflitos, o conjunto foi lançado como BIRD-Platinum.

A equipe também revisou o conjunto de avaliação BIRD Mini-Dev. Uma primeira revisão da Arcwise corrigiu erros em 32,3% dos exemplos; uma segunda elevou a taxa total de erros detectados para 52,8%, dando origem ao Arcwise-Plat-SQL. O modelo ReViSQL-K2.6 foi obtido ao ajustar Kimi-K2.6 com RLVR sobre BIRD-Platinum.

Recompensas e resultados

Os pesquisadores apontam duas limitações da recompensa baseada apenas na coincidência do resultado executado. Primeiro, uma consulta errada pode produzir o mesmo resultado em uma única instância do banco; em um teste, 32,8% das recompensas positivas desse tipo foram atribuídas a consultas que não eram semanticamente equivalentes. Para reduzir esse problema, o treinamento usou VeriEQL, que verifica equivalência semântica e penaliza falsos positivos.

Segundo, a recompensa pelo resultado não indica se o modelo realmente usou o conhecimento externo fornecido. Em uma análise-piloto, 24,2% das falhas foram associadas à ignorância dessas informações. Como resposta, o modelo passou a produzir um bloco que traduz o conhecimento em restrições explícitas e outro que audita a consulta, com penalidades por não conformidade.

No Arcwise-Plat-SQL, o ReViSQL-K2.6 alcançou 91,37% de acurácia em uma única amostra, por US$ 0,035 por tarefa. Com 16 amostras e seleção por consistência, chegou a 92,97% e US$ 0,56 por tarefa, ligeiramente acima da referência humana de 92,96%. Os autores afirmam que o resultado supera modelos de fronteira e pipelines com orquestração, a uma fração do custo. Em outro experimento, o Qwen3-235B-A22B treinado com BIRD-Platinum melhorou 16%, 12% e 14% sobre o treinamento com BIRD Train nos benchmarks Arcwise-Plat-SQL, Spider2-SQLite e Spider2-Snow.

Conclusão

O trabalho não afirma que scaffolding seja inútil, mas que seu desempenho pode ficar limitado pela capacidade do modelo-base. A conclusão é que limpeza rigorosa dos dados, julgamento especializado e recompensas alinhadas à habilidade pretendida podem transferir a experiência da tarefa para o próprio modelo, produzindo melhor desempenho e menor custo.