Cloudflare afirma que bloquear bots de IA impulsiona acordos com editoras
Índice
A Cloudflare afirma que bloquear rastreadores automatizados de inteligência artificial, conhecidos como crawlers, está dando às editoras mais poder para negociar o licenciamento de reportagens. Segundo a empresa, restringir o acesso indiscriminado cria uma “escassez confiável” e abre caminho para modelos em que plataformas de IA pagam pelo rastreamento ou pelo uso efetivo do conteúdo em suas respostas.
Bloqueio vira poder de negociação
A avaliação foi apresentada por Stephanie Cohen, diretora de estratégia da Cloudflare, em entrevista à Press Gazette. A companhia, que diz atender mais de 20% da web, permite que clientes identifiquem e bloqueiem bots de treinamento e de agentes de IA. Também é possível definir regras específicas para cada rastreador.
Na prática, esse controle reduz a capacidade de empresas de IA coletarem textos sem um acordo prévio. Cohen citou a People Inc., dona de veículos como People, Food & Wine e Travel + Leisure, como exemplo: depois de limitar o acesso de bots por meio da Cloudflare, o grupo fechou um acordo de licenciamento com a Microsoft. Os valores e demais condições não foram divulgados.
A Cloudflare também afirma trabalhar com grupos como TIME, The Associated Press, Fortune, The Atlantic, Gannett e Condé Nast em controles e negociações ligados a IA. Isso não significa que todos tenham contratos semelhantes, mas mostra uma mudança na relação entre plataformas e proprietários de conteúdo. A disputa também já chegou aos tribunais e a órgãos reguladores, que discutem responsabilidade, remuneração e direitos autorais.
Para sites menores e publicações especializadas, a promessa é transformar catálogos de nicho em ativos negociáveis. Ainda assim, a tese parte principalmente de casos apresentados pela própria fornecedora. Não há garantia de que bloquear bots resulte automaticamente em receita, especialmente para veículos com menor alcance ou pouca capacidade de negociação individual.
Do pagamento por rastreamento à cobrança pelo uso
O primeiro passo comercial da Cloudflare foi o Pay per Crawl — pagamento por rastreamento, em tradução livre. Em beta fechado desde julho de 2025, o serviço permite que donos de sites escolham entre liberar o acesso, bloquear o bot ou cobrar um valor por cada solicitação bem-sucedida. A empresa de IA, por sua vez, precisa informar um método de pagamento antes de acessar o conteúdo protegido.
Agora, a empresa desenvolve um modelo de pagamento por uso. A diferença é importante: em vez de remunerar cada visita do robô, a cobrança ocorreria quando um texto realmente servisse de base para uma resposta gerada por IA. Os testes iniciais envolvem a empresa de infraestrutura Ceramic.ai e o buscador You.com.
Segundo Cohen, mais da metade dos rastreamentos feitos por bots de IA existe apenas para verificar se uma página mudou. Se a estimativa estiver correta, cobrar por todas essas visitas pode gerar muito tráfego e custo sem relação direta com o valor entregue ao usuário. O pagamento por uso tentaria aproximar a remuneração da citação ou da influência real do conteúdo.
Esse formato exige uma medição mais precisa: qual página contribuiu para qual resposta e em que proporção? A Cloudflare acredita que sinais de qualidade e frequência de uso podem ajudar a definir preços. Porém, os critérios ainda estão em desenvolvimento, e os serviços continuam em fase de testes.
Buscadores e respostas de IA exigem regras diferentes
O desafio técnico é separar atividades diferentes. Um bot pode rastrear páginas para indexá-las em uma busca tradicional, treinar um modelo, responder a uma pergunta em tempo real ou executar uma tarefa como agente. A Cloudflare passou a classificar os rastreadores por finalidade — busca, treinamento e agente — para permitir políticas distintas.
A partir de 15 de setembro de 2026, novos domínios adicionados à plataforma terão padrões atualizados para o bloqueio de bots de IA. Rastreadores de busca poderão continuar permitidos, enquanto bots classificados para treinamento ou atuação como agentes poderão ser barrados em páginas monetizadas por publicidade. Sistemas de finalidade mista também podem ser bloqueados quando a configuração do cliente impedir treinamento por IA.
Essa separação importa porque a descoberta de conteúdo está mudando. Os resumos de IA nos resultados do Google e assistentes como ChatGPT e Claude frequentemente entregam uma síntese sem que o leitor visite a página original. Para as editoras, aparecer na resposta pode aumentar a exposição, mas reduzir o tráfego que sustenta assinaturas e publicidade.
Por isso, a Cloudflare também lançou ferramentas de otimização para mecanismos de resposta (AEO), que mostram quando um domínio é citado por plataformas de IA e quais robôs acessaram suas páginas. A proposta complementa a otimização para mecanismos de busca (SEO): em vez de analisar somente a posição em links, o editor tenta entender sua presença dentro de respostas prontas.
Em paralelo, a Cloudflare anunciou um piloto de pesquisa com a OpenAI para testar formas mais eficientes de manter informações recentes disponíveis aos sistemas de IA. A iniciativa não foi apresentada como acordo de licenciamento e deve ser tratada separadamente do Pay per Crawl. Ela busca reduzir rastreamentos repetidos e melhorar a atualização dos dados usados nas respostas. A OpenAI também desenvolve agentes capazes de executar tarefas na web, o que aumenta a necessidade de distinguir cada tipo de acesso.
O modelo ainda depende de adesão e fiscalização
Mesmo com novas ferramentas, bloquear bots não encerra a disputa. Rastreadores podem omitir a própria identidade, trocar endereços de rede ou usar infraestrutura de terceiros para contornar regras como o arquivo robots.txt. Um relatório da TollBit afirmou que, no segundo trimestre de 2026, cerca de 1,5 bilhão de acessos automatizados ignoraram instruções de bloqueio entre os sites monitorados pela empresa.
O mesmo levantamento indicou que 95% dos editores analisados já proibiam ao menos um rastreador de IA. Também apontou casos em que a mesma solicitação teria sido cobrada mais de uma vez, evidenciando que identificação, faturamento e auditoria ainda precisam amadurecer.
O cenário, portanto, combina oportunidade comercial e incerteza. A proteção oferecida pela Cloudflare pode aumentar o custo de coletar conteúdo sem permissão e tornar negociações mais atraentes. Mas a divisão de receita dependerá da participação das plataformas de IA, de métricas auditáveis e de regras claras para atribuir valor a cada fonte. O debate também segue ligado a decisões judiciais e regulatórias — inclusive no Brasil, onde o Google terá que responder ao jornalismo pelo uso de conteúdo em IA.
Fontes: Press Gazette; Cloudflare — Pay per Crawl; Cloudflare — AEO; Cloudflare — bloqueio de bots de IA; Cloudflare — piloto com a OpenAI; e TollBit — State of the Bots.
