In partnership with

ED 018

O interruptor que a Cloudflare deixou ligado

Desde julho de 2025, todo domínio novo na Cloudflare nasce com o bloqueio de rastreador de IA ativo, e ninguém é avisado disso na tela.

Painel elétrico de metal com uma única chave seccionadora na posição desligada, luz fria, sem pessoas

A chave que ninguém lembra de conferir

▼

Em 1º de julho de 2025, a Cloudflare anunciou o Content Independence Day e passou a bloquear rastreadores de inteligência artificial por padrão em todo domínio novo que entra na plataforma. Na mesma publicação, a empresa afirmou que mais de um milhão de clientes já tinham ligado o bloqueio por conta própria desde que a opção de um clique nasceu, em setembro de 2024.

As palavras que mudam a vida de quem publica são cinco: por padrão, em domínio novo. Quem registrou um site depois daquela data e apontou o DNS para a Cloudflare recebeu a porta fechada sem clicar em nada, sem ler nada, sem ser perguntado numa tela de configuração inicial.

O efeito é silencioso por natureza. O site abre normalmente no navegador, o buscador continua indexando as páginas, o relatório de tráfego orgânico não muda de cara. O que some é a presença nas respostas geradas, porque o robô que alimenta essas respostas leva um 403 na porta e vai embora sem deixar recado.

Vale separar do que já é conhecido. Um robots.txt mal escrito é um pedido educado que o rastreador pode ignorar por conta própria. Uma regra de firewall da hospedagem barra por faixa de IP ou por user-agent suspeito, sem saber o que está barrando. O controle da Cloudflare tem nome, lista curada de rastreadores de IA mantida pela própria empresa e mora no painel sob o rótulo AI Crawl Control, com histórico de quem bateu na porta e quando.

A escala do assunto vem do tamanho da plataforma. O levantamento do W3Techs registrava em 2025 que a Cloudflare responde por cerca de um quinto dos sites com proxy reverso identificado. Quando um controle desse alcance muda de posição inicial, milhões de domínios mudam de comportamento sem que nenhum dono tenha decidido nada.

A seguir, como o controle funciona por dentro, o caso de uma clínica de Curitiba que sumiu das respostas sem nunca ter tocado no robots.txt, e o roteiro de seis passos para conferir o seu domínio hoje.

Continue lendo ↓

I Sinal da Semana

O controle que já vem ativado no domínio novo

Nenhuma linha do seu conteúdo precisou mudar para você desaparecer das respostas. Bastou uma configuração de rede escolhida por outra empresa.

Vale abrir a mecânica. A Cloudflare fica na frente do seu servidor, então toda requisição passa por ela antes de chegar ao site. Ela identifica o visitante por assinatura de rede, reputação de IP, comportamento de navegação e user-agent declarado, e decide na hora se entrega a página ou devolve um erro.

Rastreador de IA é uma categoria própria dentro dessa decisão. A Cloudflare mantém uma lista de robôs conhecidos e classifica cada um por finalidade declarada, e é essa classificação que o interruptor consulta quando a requisição chega.

As três finalidades que o painel separa

Treinamento, busca e ação do usuário. O primeiro grupo coleta texto para treinar modelo e não devolve visita nenhuma. O segundo alimenta o índice que a resposta consulta na hora e costuma vir com link de origem. O terceiro é o robô disparado quando alguém pede ao assistente para abrir uma página específica. Bloquear os três de uma tacada fecha também a porta que traria o leitor.

"O código é a lei."

Lawrence Lessig, Code and Other Laws of Cyberspace, Basic Books, 1999

Bloqueio de plataforma não deixa rastro no seu site

Quem procura a causa no próprio conteúdo perde semanas. O arquivo robots.txt pode estar liberado, o sitemap pode estar perfeito, as páginas podem carregar em menos de um segundo, e mesmo assim a requisição morre antes de chegar ao HTML. O log do servidor de origem nem registra a tentativa, porque a tentativa parou uma camada acima.

Por que domínio novo sofre mais

Site antigo migrado para a Cloudflare herda a configuração da conta e mantém o comportamento anterior. Domínio criado depois de julho de 2025 nasce com o padrão novo. Empresa que lança marca ou produto acumula justamente esse tipo de domínio recém-criado, e a página de lançamento, a mais importante do trimestre, fica invisível para o assistente.

Existe ainda a camada do robots.txt gerenciado. A Cloudflare pode publicar sozinha um robots.txt com as diretivas de bloqueio, sobrescrevendo o arquivo do seu repositório. Quem edita o arquivo no código e vê o conteúdo antigo voltar no ar tropeçou nessa sobreposição, não em cache de navegador.

O sintoma que chega ao dono do negócio é uma frase solta numa reunião. Alguém comenta que perguntou ao assistente e recebeu o nome de um concorrente. Ninguém liga a frase a uma caixa marcada num painel de infraestrutura que o time de marketing nunca abriu e que o time de tecnologia nunca tocou.

II Case Brasileiro

A clínica de Curitiba que sumiu sem tocar no robots.txt

Onze semanas de tráfego perdido por uma caixa marcada, e a correção levou quinze minutos no painel de infraestrutura.

Uma clínica de fisioterapia esportiva de Curitiba lançou um site novo em fevereiro de 2026, com domínio recém-registrado, para separar a reabilitação da marca antiga. O projeto tinha doze artigos técnicos da equipe e uma página de serviços detalhada por lesão.

Dois meses depois, a sócia responsável pelo marketing fez o teste que qualquer pessoa faz. Perguntou a três assistentes quem trata lesão de ligamento cruzado em Curitiba. A clínica não apareceu em nenhuma das três respostas, e o site antigo, com metade do conteúdo e nenhuma manutenção há dois anos, apareceu em duas.

A primeira hipótese foi a errada. O time reescreveu títulos, adicionou dados estruturados de organização local e refez as descrições. Três semanas de trabalho e nada mudou.

Robots.txt do domínio novo: liberado para todos os agentes

Sitemap: enviado e lido normalmente pelo buscador

Velocidade de carregamento: abaixo de um segundo no teste móvel

Log do servidor de origem: nenhuma requisição de rastreador de IA registrada

Painel da Cloudflare: bloqueio de bots de IA ativo desde a criação do domínio

Ninguém na equipe havia acessado a aba onde a configuração vive

O quarto item foi o que abriu o caso. Zero requisição no log de origem não significa que o robô não veio, significa que ele foi barrado antes. O desenvolvedor freelancer que montou o site conferiu o painel da conta e encontrou a configuração ligada, com data de ativação igual à data de criação da zona.

A correção começou por olhar o histórico. A aba de controle de rastreio mostrava as tentativas bloqueadas por robô e por dia, e o número de tentativas negadas nos dois meses passava de sete mil, distribuídas entre os principais rastreadores de busca com IA.

Depois veio a escolha por finalidade. A clínica liberou os rastreadores que alimentam resposta com link de origem e manteve fechados os de coleta para treino, decisão tomada em cinco minutos numa conversa entre a sócia e o desenvolvedor.

O robots.txt gerenciado foi desligado no mesmo movimento. O arquivo que a plataforma publicava sozinho carregava as diretivas de bloqueio e continuaria contradizendo a nova configuração, criando dois sinais opostos para o mesmo robô.

Faltava um passo que quase ficou de fora. As regras de firewall da conta tinham uma expressão antiga que barrava user-agent contendo a palavra bot, herdada de um template de segurança. Ela sozinha já derrubaria metade dos rastreadores liberados no passo anterior.

Trinta e um dias depois, o log de origem registrava requisições diárias dos rastreadores liberados, e a clínica aparecia em duas das três respostas do mesmo teste inicial, com telefone e endereço corretos.

O ganho apareceu no formulário de agendamento. A clínica passou a receber pedidos que citavam o assistente como origem da recomendação, e a sócia parou de pagar anúncio de marca para aparecer na busca pelo próprio nome.

Quem banca a edição de hoje

Tackle your credit card debt by paying 0% interest until nearly 2028

If you have outstanding credit card debt, getting a new 0% intro APR credit card could help ease the pressure while you pay down your balances. Our credit card experts identified top credit cards that are perfect for anyone looking to pay down debt and not add to it! Click through to see what all the hype is about.

Learn How To Apply Now

Patrocinadores mantêm a edição gratuita

III Checklist da Semana

Seis passos para conferir o seu domínio hoje

1. Descubra se o seu domínio passa pela Cloudflare. Consulte os servidores de nome do domínio ou peça ao responsável técnico. Se a resposta for sim, existe uma camada tomando decisões que o seu servidor não registra.

2. Abra a aba de controle de rastreio de IA no painel e olhe o histórico por robô. Ela mostra quem bateu na porta, em que dia e o que recebeu de volta. Volume alto de requisições negadas com zero registro no log de origem confirma o diagnóstico sem margem.

3. Confira a data de criação da zona. Domínio criado a partir de julho de 2025 nasceu com o bloqueio ativo por padrão. Domínio anterior herdou a configuração da conta, então o padrão de um pode não ser o padrão do outro dentro da mesma empresa.

4. Decida por finalidade, nunca por categoria inteira. Libere os rastreadores que devolvem resposta com link de origem e mantenha fechados os de coleta para treino. Bloqueio total protege o texto e custa a citação, e é uma escolha comercial legítima desde que seja escolha.

5. Desligue o robots.txt gerenciado se você mantém o arquivo no repositório. Duas fontes publicando diretivas opostas para o mesmo caminho deixam o robô com a instrução mais restritiva, e a que vence costuma ser a que você não escreveu.

6. Revise as regras de firewall que barram por user-agent. Expressões herdadas de template de segurança derrubam robô liberado sem aparecer no painel de rastreio. Depois marque a reconferência para daqui a noventa dias, porque configuração de plataforma muda por atualização do fornecedor.

A primeira armadilha é tratar o assunto como pauta de marketing. A caixa fica num painel de infraestrutura, com acesso restrito ao time técnico, e quem sente a dor não tem a senha. Sem uma conversa entre as duas áreas, o diagnóstico não sai.

A segunda é confiar no relatório de tráfego orgânico. Ele mede visita de humano vindo do buscador e continua estável enquanto a presença nas respostas geradas cai a zero. O indicador que denuncia o problema mora no log de origem e no painel da plataforma.

A terceira é liberar tudo por susto. Abrir a porta para todo rastreador entrega o acervo inteiro para coleta de treino sem contrapartida, e existe opção intermediária para separar quem devolve leitor de quem apenas leva texto.

Um site pode ter conteúdo melhor, autoridade maior e velocidade superior à do concorrente e ainda assim estar fora de todas as respostas, porque uma configuração padrão de rede fecha a porta antes que o conteúdo seja lido.

"Você já sabe qual configuração de rede decide, todo dia, se o seu conteúdo pode ser lido?"

Teste hoje, em dez minutos: abra o painel da sua plataforma de rede, anote o número de requisições de rastreador de IA negadas nos últimos trinta dias e compare com o número de requisições registradas no log do seu servidor. Se o primeiro for alto e o segundo for zero, você achou a porta fechada.