Cloudflare permite recusar treinamento de IA e seguir indexado em buscas
O problema dos rastreadores de uso misto
A Cloudflare anunciou, em 15 de setembro, a configuração Disallow AI Training, que permite a donos de sites continuarem indexados em buscas enquanto recusam que seus conteúdos sejam usados para treinar modelos de IA. O problema que a novidade resolve vem dos chamados rastreadores de uso misto: um único crawler que serve tanto à busca quanto ao treinamento de IA. Sem controles granulares, recusar o treinamento significava também recusar a busca.
Segundo a empresa, menos de 1% dos sites na sua rede bloqueiam bots de busca, enquanto 17% optam por algum mecanismo de bloqueio ao treinamento - evidência de que a maioria quer ser encontrada, mas tem reservas sobre o uso para treinar modelos.
A Cloudflare argumenta que um simples robots.txt não basta: qualquer um pode publicar um, mas esse arquivo não identifica quem está rastreando, por que o faz nem impede um crawler que o ignore. A proposta é resolver isso na rede: publicar a preferência, identificar o rastreador, classificar seu propósito e bloquear os que desrespeitarem a escolha, com reporte público no Radar.
A designação "Accountable"
Desde julho, a Cloudflare negocia diretamente com operadores de crawlers. A empresa criou a designação Accountable, que exige (ou compromete a entregar em prazo definido): mecanismo de opt-out de treinamento via robots.txt ou padrão similar; mecanismo de opt-out de resumos de IA junto ao operador; visibilidade por URL de quais páginas foram usadas para treinamento e métricas de busca; e garantia de que recusar o treinamento não afete os resultados tradicionais de busca.
Apple, Google e Microsoft cumprem esses critérios com seus crawlers Applebot, Bingbot e Googlebot. Crawlers de Amazon, Anthropic, Meta e OpenAI também são classificados como Accountable porque separam rastreamento de busca e de treinamento - bloquear o de treinamento não afeta a busca.
Como funciona a nova configuração
A Cloudflare classifica bots por comportamento em três categorias: Search (indexação de busca), Training (treino ou ajuste fino de modelos) e Agent (agentes direcionados por usuário). A nova opção Disallow AI Training publica uma preferência "Disallow" no robots.txt, mantém crawlers mistos Accountable permitidos para busca e bloqueia todos os demais crawlers de treinamento, incluindo os de treinamento exclusivo.
Com isso, as configurações "Block" e "Block on pages with ads" passam a se aplicar a todos os crawlers de treinamento, inclusive os mistos - ou seja, bloquear Applebot, Bingbot ou Googlebot agora interrompe também a indexação de busca. Quem quiser parar o treinamento mantendo a busca deve usar a nova opção. Há também mudanças administrativas: "Block AI Bots" e "Managed Robots.txt" serão descontinuados em favor de controles granulares e do Bot Preference Sync; preferências existentes serão migradas automaticamente, e novos domínios receberão configurações recomendadas, mais restritivas para sites monetizados por anúncios.
Há ressalvas por operador: o Applebot ainda não oferece inspeção por URL, mas apresentou solução em desenvolvimento. O Google planeja lançar ferramentas de transparência por URL ligadas ao Google-Extended nas semanas seguintes. O Bingbot ainda não respeita a preferência de "sem treinamento" via robots.txt; a Microsoft constrói esse mecanismo com previsão para o início de 2027 - até lá, recusar treinamento no Bing exige usar a meta tag NOARCHIVE ou a ferramenta de remoção. As três empresas afirmam que recusar o treinamento não afeta o ranking de busca.
Próximo passo: resumos de IA
A Cloudflare aponta os resumos de IA como o próximo desafio. Um simples sim ou não para o site inteiro é considerado insuficiente: o que importa também é quanto do conteúdo aparece em um resumo. A meta, para o início do próximo ano, é permitir controlar a extensão do uso do conteúdo em resumos, configurado uma vez na Cloudflare em vez de operador por operador.
Os dados mostram impacto misto: mais da metade dos consumidores lê resumos na busca, e esses leitores têm mais de 40% de probabilidade de encerrar a busca após ler um - o que pode reduzir visitas. Por outro lado, visitantes vindos de buscas com IA convertem entre três e mais de cinco vezes a taxa dos vindos da busca tradicional. A empresa conclui que cabe a ela fornecer visibilidade e controle, não escolher por cada site. Controles para resumos já são requisito dos operadores Accountable, e padrões abertos como ai-prefs, em construção no IETF, devem fazer parte dessa evolução. As novas configurações estão disponíveis a todos os clientes, em todos os planos.