Benchmark Beaver mostra que LLMs vão mal em text-to-SQL do mundo real

O problema dos benchmarks de text-to-SQL

Michael Stonebraker (Turing Award 2014) e Peter Baile Chen, ambos do MIT, argumentam que os benchmarks públicos de text-to-SQL - como Spider e Bird-SQL - não refletem a realidade dos data warehouses corporativos. Embora esses benchmarks mostrem acurácia de 80-90%+, eles sofrem de quatro problemas fundamentais:

1. Dados públicos: os datasets estão disponíveis na internet, então LLMs podem ter sido treinados neles. Data warehouses reais ficam atrás de controles de acesso corporativos.
2. Schema rot: esquemas de data warehouses reais se degradam com o tempo - nomes de tabelas e colunas ficam não-intuitivos, colunas com nomes iguais têm semânticas diferentes e não documentadas, e views materializadas criam múltiplos caminhos para resolver uma query.
3. Dados idiossincráticos: informações específicas da organização (como "J-term" no MIT ou prédios identificados por número) são difíceis para LLMs.
4. Queries complexas: queries reais raramente têm apenas um join; frequentemente têm dois ou três.

Spider 2.0 resolveu o último problema, mas não os três primeiros.

O benchmark Beaver

Os autores passaram dois anos testando LLMs em workloads reais de data warehouses, começando com o data warehouse do MIT (Oracle, 1.400+ tabelas). Extraíram queries reais dos logs, geraram as perguntas em linguagem natural com ajuda dos usuários reais, e depois aplicaram a metodologia a outros três data warehouses. O resultado é o benchmark Beaver, que apresenta todos os quatro problemas acima.

Os resultados são drásticos:

• LLM puro: acurácia de zero.
• Com RAG, prompt engineering e agentic AI: acurácia na faixa de 10%+.
• Fornecendo ao LLM as tabelas corretas e as cláusulas de join: acurácia na faixa de 30%+.

Isso representa uma queda de mais de 50 pontos percentuais em relação aos benchmarks públicos - a diferença entre "a tecnologia tem potencial" e "a tecnologia não funciona".

Conclusão

Os autores concluem que bons resultados com LLMs/agentic AI em text-to-SQL só são prováveis em data warehouses com esquemas limpos, queries simples e poucos dados idiossincráticos. Para o mundo real, eles apontam para o sistema Rubicon como uma abordagem alternativa e disponibilizam o Beaver publicamente para estimular a comunidade a encontrar soluções melhores.