Sentry debuga assistente de busca com tracing de agentes

O problema

A equipe do Sentry mantém o Search Query Assistant, um assistente que converte buscas em linguagem natural para a Sentry Search Syntax, já que a sintaxe pode ser uma barreira para usuários. Como a saída do modelo é não determinística, a equipe usa evals: escreve cenários de uso principais e executa para medir se o agente gera a consulta correta.

Um bug real de geração de consulta

Em testes de ponta a ponta, a equipe percebeu que consultas retornavam nenhum resultado quando o campo era um atributo numérico personalizado - por exemplo, filtrar eventos de compra em que um atributo customizado de itens no carrinho fosse maior que 10.

Debugando com o AI Conversation

Em vez de depurar só localmente (que funciona quando mocks de tool calls bastam), a equipe foi para a visão de Agents do Sentry e usou filtros de tempo, agente e e-mail para encontrar o trace da interação. A linha do tempo mostrou o system prompt, as gerações do LLM e as tool calls - mais legível que um blob de JSON.

A raiz do problema estava em como os resultados de uma tool call (da API própria) alimentavam o system prompt: os campos disponíveis eram exibidos apenas pelo nome (bug__predictions_count), em vez da forma exigida pela Sentry Search Syntax (tags[bug_predictions_count, number]). Com isso, a equipe criou um novo cenário de eval para reproduzir e corrigir o erro.

Verificação e iteração local

Depois do deploy, a mesma consulta retornou os dados corretos, e o trace confirmou que o system prompt trazia a informação corrigida e que os parâmetros da chamada de API estavam certos. A utilidade foi tanta que a equipe instrumentou as execuções locais de eval para enviar dados ao Sentry, permitindo iterar no eval e ver os resultados antes mesmo de abrir um pull request.

Benefício de ferramentas familiares

Ter os traces de conversas de IA dentro do Sentry, junto dos demais eventos, permitiu usar ferramentas conhecidas para localizar o trace, evitar copiar e colar IDs ou dados entre ferramentas e pular direto para as tool calls que o agente fez às APIs próprias. Segundo o post, essa é agora a primeira abordagem da equipe ao investigar respostas de consulta que precisam melhorar; o texto termina sugerindo a documentação de agent tracing do Sentry para quem constrói seus próprios agentes.