A Cloudflare permite que sites cobrem de bots de IA com o ‘Pay Per Crawl’

A Cloudflare está oferecendo aos editores uma nova opção: cobrar dos bots de IA por rastrear seus sites usando um sistema de pagamento HTTP 402 revitalizado.

Através do seu novo sistema “Pay Per Crawl“, os proprietários de sites podem cobrar de bots de IA para acessar seu conteúdo. O sistema oferece aos editores uma abordagem alternativa à sua atual política de duas opções, que permite a raspagem de dados de IA ou o bloqueio total do acesso de IA.

“Muitos editores, criadores de conteúdo e proprietários de sites atualmente sentem como se tivessem uma escolha binária – ou deixam a porta da frente bem aberta para a IA consumir tudo o que criam, ou criam seu próprio jardim murado”, disse a Cloudflare. “Mas e se houvesse outra maneira?”

Com o Pay Per Crawl, os criadores de conteúdo agora podem decidir quem entra e a que preço. Eles podem permitir que alguns robôs de IA entrem gratuitamente, bloquear outros completamente, ou cobrar pelo acesso. “Queríamos que os criadores de conteúdo tivessem controle sobre quem acessa seu trabalho”, disse a Cloudflare. “Os criadores devem estar no comando.”

A mudança ocorre em meio a um crescente rechaço em relação às empresas de IA que usam conteúdo da web sem consentimento. Por exemplo, o YouTube tem sido criticado por permitir que o Google extraia vídeos sem notificar os criadores. Além disso, o recurso AI Overviews do Google reduziu o tráfego para sites de notícias como o HuffPost e The Washington Post em mais de 50%.

“O Google simplesmente pega conteúdo à força e o usa sem retorno – a definição de roubo”, disse Danielle Coffey, presidente da News/Media Alliance.

A ferramenta funciona usando um recurso antigo da web: o código de resposta HTTP 402, que significa “Pagamento Requerido”. Se um bot de IA tenta acessar uma página, o servidor pode agora responder com um 402 e incluir uma etiqueta de preço. Se o bot concordar em pagar, o servidor entrega o conteúdo.

A Cloudflare fornece a infraestrutura técnica e lida com os pagamentos. Os editores podem definir um preço fixo por solicitação de rastreamento e até mesmo aplicar regras diferentes para bots diferentes. Mesmo que um bot não esteja registrado na Cloudflare, ainda pode ser “cobrado” – essencialmente bloqueando o acesso, mas deixando espaço para futuros acordos.

Este sistema poderia levar a licenciamentos mais flexíveis e preços dinâmicos no futuro. Como a Cloudflare coloca: “Ao fornecer aos criadores um mecanismo robusto e programático para valorizar e controlar seus ativos digitais, nós os capacitamos a continuar criando o rico e diversificado conteúdo que torna a Internet inestimável.”