Hub aberto publica traces de produção para pesquisa de serving de LLMs

Um hub aberto de dados para pesquisa em serving de LLMs

O laboratório MadSys da Harvard (SEAS), junto com colaboradores, lançou o hub "Open Data", que reúne conjuntos de dados abertos para pesquisa em serving de LLMs e agentes: traces de requisições de produção, workloads de agentes e telemetria de GPUs. O catálogo combina datasets já liberados e outros planejados, todos com documentação de esquema e código de análise.

Dataset lançado: um ano de traces da Chutes

O principal conjunto liberado, "One Year in LLM Serving", contém metadados de 6,12 bilhões de requisições de produção da Chutes, abrangendo 9.174 modelos ao longo de um ano de tráfego. O dataset registra contagens de tokens de entrada e saída, tokens de cache e tempos até o primeiro token (TTFT), além de identifiers de usuário, modelo e instância. Os IDs de usuário rotacionam a cada três meses, então a mesma pessoa aparece com identificadores diferentes ao longo do ano.

Os achados iniciais indicam alta localidade temporal (99% das requisições repetidas do mesmo usuário ao mesmo modelo chegam em até 15 minutos), que a política de evição LRU frequentemente empata ou supera políticas de cache mais complexas, e que roteamento consciente de cache eleva a taxa de acerto de tokens, com 5–7% de desbalanceamento de carga em simulação.

Telemetria ao vivo do FreeInference

Também disponível é a telemetria de GPU e serving do FreeInference, com séries temporais coletadas via DCGM e métricas dos motores de inferência, em amostras de 1 minuto agregadas a 20 minutos e 1 hora. Os dados cobrem utilização de GPU, memória, temperatura, tráfego NVLink e PCIe, além de métricas do motor SGLang: requisições em execução e na fila, uso de tokens, taxa de acerto de cache, throughput de prefill e decode, latências médias e taxas de aceitação de speculative decoding.

O acesso é aberto: um dashboard serve snapshot via API e histórico com janelas configuráveis, e cada gráfico pode ser baixado como CSV. Apenas a exportação em massa de até 30 dias de agregados horários é protegida por senha, mediante solicitação por e-mail.

Dataset planejado: traces de agentes e o peso do cache

Em planejamento está o agent-serving dataset do FreeInference: traces de produção de 3,5 meses de tráfego, 12 mil sessões e 205 bilhões de tokens de entrada, cobrindo 13 harnesses de agentes, com hashes de blocos de prefixo, tempos de requisição e metadados de tool calls. Ele permitirá replays para avaliar políticas de evição de KV-cache, tamanhos de cache e reuso de prefixos, com exportação planejada no formato LLMLCS para o simulador libCacheSim.

Os achados preliminares mostram que o custo de agentes é dominado por tokens em cache: em 76% das sessões, a entrada em cache é o maior componente de custo (proporção de preços 1:10:50 entre entrada em cache, entrada sem cache e saída). A execução de ferramentas é o gargalo: reduzir pela metade o tempo de ferramenta acelera a sessão em 1,38×, contra 1,10× para prefill e 1,16× para decode. Além disso, 3,41% das requisições mutam contexto anterior, quebrando o prefixo, e essas mutações respondem por 62,6% do prefill fresco medido (sob retenção infinita de KV-cache), com system prompt e injeções como principais causas.

Outros datasets no roteiro

Dois conjuntos adicionais estão previstos: o Chutes conversational dataset, com prompts e respostas de chat e roleplay de um endpoint opcional de pesquisa (tráfego majoritariamente conversacional, não agêntico), e o raw prompt dataset do FreeInference, com conversas de agentes sanitizadas para análise de trajetórias e pesquisa de ML, cuja liberação do texto depende de aprovação de IRB.

O trabalho é liderado por Juncheng Yang, com William Nixon e Murphy Tian entre os contribuidores, e o dataset de um ano é acompanhado do artigo "A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing".