stamatios
← Voltar ao feed
Estudo mapeia dois meses de tráfego LLM em site real
Dev & Engenharia · IA & Modelos

Estudo mapeia dois meses de tráfego LLM em site real

resumo de ~3 min

Tráfego de agentes vs. humanos

A Evil Martians instrumentou o próprio site (evilmartians.com) com middleware server-side para capturar requisições de agentes de IA que não executam JavaScript - e portanto são invisíveis ao Google Analytics tradicional. Em dois meses (maio a julho de 2026), registraram cerca de 268.000 requisições de agentes contra ~107.000 pageviews humanos. Software já lê o site mais que pessoas, numa proporção de mais de 2:1.

Dois clientes, dois formatos opostos

O "tráfego de IA" se revelou como dois públicos com comportamentos opostos:

  • ChatGPT-User (73% de todo o tráfego de agentes, ~197.000 requests): busca HTML renderizado e praticamente nunca toca Markdown (0,1% das requisições).
  • Claude Code (agente de programação, ~23.300 requests): pede Markdown 76% das vezes via header Accept: text/markdown, e o servidor entrega a versão limpa por content negotiation.

Perplexity e OAI-SearchBot aparecem com volumes menores e comportamento misto.

O arquivo /llms.txt foi buscado ~660 vezes e /llms-full.txt ~110 vezes. Porém, ao segmentar por user-agent, apenas 37 fetches vieram de assistentes de IA nomeados. Os outros ~730 vieram de crawlers de busca, bots de SEO e scripts genéricos. O tráfego de referrer que parecia indicar "leitura e seguimento de links" se revelou 90%+ de um único bot com Chrome/111 congelado. A conclusão: llms.txt é buscado, mas não pelo público para o qual foi criado.

O hint escondido: zero resultados

A técnica de um <div> oculto indicando a URL Markdown (com parâmetro ?ref=hint para rastreamento) gerou zero fetches atribuíveis em dois meses. Os agentes que querem Markdown pedem via Accept header, não leem parágrafos escondidos.

Surpresas adicionais

  • LLMs inventam URLs: centenas de requests para páginas inexistentes como how-to-favicon-in-2025, lefthook-*.md, etc. - um sinal gratuito sobre o que agentes esperam encontrar.
  • LLMs alucinam domínios: milhares de requests para TLDs errados (.dev, .app, .co, .tech, .io). A Evil Martians registra essas variantes e redireciona, recuperando tráfego que otherwise seria perdido.
  • Ruído constante: o mesmo bucket que captura Claude Code também pega probes de SQL injection, scanners e strings de lixo.

Recomendações práticas

  1. Mantenha o HTML limpo - seu maior leitor de IA (ChatGPT) só lê HTML.
  2. Content negotiation é a técnica que funciona - é HTTP padrão, não exige conhecimento específico do agente e entrega Markdown a quem pede.
  3. Rebaixe técnicas decorativas - hint oculto e llms.txt não geraram uso mensurável por IA; são inofensivos, mas não merecem investimento.
  4. Classifique user-agents antes de confiar nos números - agrupar tudo como "Claude" esconde que coding agents, não crawlers, dirigem o tráfego Markdown.
  5. Meça primeiro - toda afirmação confiante no discurso de AI SEO se dissolve ao olhar logs reais.