Sitemaps XML mal construídos desperdiçam crawl do Google

Da extensão de leitura ao detector de erros

Joost de Valk, fundador do Yoast, conta que construiu uma extensão do Chrome chamada Sitemap Inspector após escrever sobre a remoção do XSLT nos navegadores, o recurso que deixava os sitemaps XML legíveis. O que começou como uma ferramenta para exibir sitemaps em uma tabela ordenável virou um detector de problemas: ao ver os arquivos em formato de tabela, falhas saltavam aos olhos, e ele passou a adicionar verificações ao vivo que acessam as URLs listadas em busca de redirecionamentos, erros HTTP, diretivas noindex, canonicals apontando para outras páginas e regras do Googlebot no robots.txt.

O que é um sitemap "certo"

A documentação do Google é direta: um sitemap deve incluir as URLs que se quer ver nos resultados de busca, e o Google tenta rastrear as URLs exatamente como listadas. Logo, cada entrada errada custa um rastreamento. Há dois níveis de problemas: o que é permitido mas não ideal (falta de lastmod, datas sem horário, muitas páginas compartilhando uma data) e o que é simplesmente errado - URLs que redirecionam, retornam erro, têm noindex ou declaram outra página como canonical, enviando aos buscadores uma URL e logo depois dizendo para não usá-la. Todos os exemplos do artigo são do segundo nível, verificados em 27 de setembro de 2026.

Os exemplos

Adobe: o sitemap do UK Learn lista 978 páginas; das primeiras 100 checadas, 98 tinham canonical apontando para outra URL - não outra língua ou barra final, mas para um endereço como /uk/learn/indesign/web/template, o que sugere um placeholder que nunca foi substituído. O arquivo também tem 43 valores de lastmod compartilhados por mais de 10 URLs cada, com horários em um intervalo de dois minutos numa mesma noite de agosto, o que indica um trabalho em lote.

Anthropic: de 537 URLs, 21 tinham noindex (páginas legais como termos e políticas de privacidade), uma dava 404 e quatro redirecionavam. Tirar essas páginas da busca pode ser uma escolha, mas listá-las no sitemap manda o sinal oposto.

Manchester City: de 1.964 páginas, doze endereços aparecem duplicados com lastmod diferentes; das primeiras 100 URLs checadas, 17 retornavam erro e 16 redirecionavam. O padrão: páginas de jogadores que saíram do clube - Mahrez e Palmer redirecionam ao elenco, Zinchenko e Delap dão 404 - continuam listadas como se valessem indexação.

GOV.UK: o primeiro arquivo do índice tem 25.000 URLs, dentro do limite do protocolo, mas 118 das primeiras 500 tinham noindex - quase todas decisões de tribunais trabalhistas e imobiliários que citam pessoas comuns, o que sugere que o noindex é intencional. O erro foi colocar essas páginas no sitemap. Todas as entradas também carregam priority e changefreq, que o Google ignora.

X: o robots.txt aponta para https://x.com/sitemap.xml, inclusive com um comentário explicando como as URLs deveriam ser formatadas - mas esse endereço não retorna sitemap algum.

Semrush: o índice de sitemaps lista 23 arquivos sem nenhum lastmod; o sitemap de notícias retorna 404, outro redireciona (301) para uma página de produto, e duas entradas são índices de sitemaps apontando para outros índices, o que a documentação do Search Console proíbe explicitamente. Semrush vende ferramentas que auditam exatamente isso.

Por que isso continua acontecendo

Nenhum desses problemas é difícil de resolver. O palpite do autor é que o sitemap costuma ser gerado por um sistema, enquanto redirecionamentos, canonicals e noindex vivem em outro, e ninguém confere se os dois concordam; como o arquivo valida, ninguém o abre de novo. O contraponto sustenta essa hipótese: todos os sitemaps gerados pelo Yoast SEO, que ele mesmo criou, saíram limpos, porque o plugin que gera o sitemap também define os canonicals e as diretivas noindex, e omite o que mandou não indexar. Parte do problema é invisível sem ferramenta - um canonical de template não se nota lendo o XML. A recomendação final: abrir o próprio sitemap no Sitemap Inspector e usar a verificação de URLs, porque, a menos que um único sistema controle todos esses sinais, é improvável que o resultado venha limpo.