Google atualiza guia de crawl budget para indexação eficiente

O que mudou no guia de crawl budget do Google

O Google atualizou sua documentação de "Crawling infrastructure" com uma nova seção chamada "Optimize your crawl budget", que orienta sites sobre como expor mais páginas aos bots de busca. O tema é relevante porque páginas precisam ser rastreadas para aparecer no índice e nos resultados de pesquisa.

Diretrizes principais

• Todo site novo começa com um crawl budget conservador. Ao lançar, comece com um número modesto de páginas para garantir que o Google consiga cobrir o conteúdo importante sem sobrecarregar os servidores.
• O budget aumenta com o tempo, conforme o tamanho do site e a frequência de atualizações. Atualizações regulares (especialmente refletidas nos sitemaps XML) incentivam o Googlebot a retornar. A recomendação é gradual: em vez de publicar 100 produtos de uma vez, prefira cerca de três por dia durante um mês.
• Velocidade do site influencia o budget. Sites mais rápidos tendem a ser rastreados com mais frequência.
• Páginas populares são rastreadas mais vezes. Páginas com muitos links inbound (externos e internos) recebem crawls mais frequentes.

Ações práticas para melhorar frequência e velocidade de crawl

• Use o comando disallow no robots.txt para bloquear páginas que não devem ser indexadas (logins privados, carrinhos de compra, páginas geradas dinamicamente).
• Remova ou consolide conteúdo duplicado.
• Evite soft 404s (páginas deletadas que retornam código 200). Retorne 404 ou 410 para páginas que não existem mais.
• Evite cadeias de redirects (múltiplos redirects para uma única URL).
• Use o relatório de crawl stats no Search Console (Settings > Crawl stats) para monitorar taxa de rastreamento e problemas encontrados pelo Googlebot.

Nova recomendação: URL Caching (código 304)

O Google adicionou uma recomendação sobre suporte ao status HTTP 304 (Not Modified). Se uma página não mudou desde o último crawl, retornar 304 permite que o Google reutilize a versão em cache, economizando bandwidth e recursos do servidor.

A autora do artigo (Ann Smarty) faz uma ressalva baseada em experiência própria: seguir essa recomendação apenas para páginas de baixa importância, como produtos expirados e páginas de políticas. Informar ao Google via 304 que uma página está "stale" pode afetar sua visibilidade nos resultados de busca ou até seu status de indexação.