Cloudflare börjar spärra AI-botar som standard på miljontals webbplatser

Cloudflare ↗ 7.77% började på tisdagen tillämpa nya standardregler som automatiskt blockerar AI-tränings- och agentbotar på miljontals webbplatser. Det markerar ett av de största skiftena hittills i hur publicister hanterar sin relation till AI-branschen.

Vad som ändras i dag

Under den nya policyn kommer alla nya domäner som ansluter till Cloudflare, samt alla befintliga gratiskunder som inte ändrade sina inställningar före tidsgränsen, att få AI-tränings- och agentbotar blockerade som standard på sidor som visar annonser. Sökbotar, de som indexerar innehåll så att användare kan hitta det senare, är fortfarande tillåtna.gulfnews+3

Bolaget meddelade först ändringarna den 1 juli 2026 under vad man kallade sin andra årliga "Content Independence Day", vilket gav webbplatsägare ett fönster på ungefär två och en halv månad att konfigurera sina inställningar innan standardvalen trädde i kraft. Cloudflare ligger framför mer än 20 % av alla webbdomäner, enligt bolagets egna uppgifter, vilket ger policyn stor räckvidd över internet.cloudflare+2

Ett system med tre kategorier

I stället för att behandla alla AI-botar lika sorterar Cloudflare nu automatiserad trafik i tre kategorier: Sök, Träning och Agent. Webbplatsägare kan blockera varje kategori oberoende av varandra, och kan för varje kategori välja att blockera på alla sidor, enbart på sidor med annonser, eller tillåta åtkomst helt.developers.cloudflare+2

En viktig detalj gäller flerfunktionsbotar. Botar som Googlebot, Applebot och BingBot som hanterar både sökindexering och AI-träning kommer att omfattas av den mest restriktiva regeln som tillämpas. Det innebär att webbplatser som har valt att blockera träningsbotar, inklusive de som tidigare aktiverade den äldre inställningen "Blockera AI-botar", oavsiktligt kan blockera även sökboten från Googles Alphabet Inc. ↗ 3.06%.cloudflare+3

Spänningen hos publicisterna

Policyn speglar en växande frustration bland publicister över att AI-bolag använder deras innehåll utan att skicka betydande trafik tillbaka. Traditionella sökmotorer genomsöker och indexerar sidor för att sedan skicka användare tillbaka till källan. Generativa AI-tjänster hämtar ofta information och presenterar svar direkt, vilket minskar besöken på ursprungssajten.gulfnews

Cloudflare ger också vissa kunder analysverktyg som visar hur ofta enskilda AI-aktörer genomsöker deras webbplatser jämfört med den hänvisningstrafik de genererar. VD Matthew Prince beskrev insatsen inte som en ren blockering av AI, utan som ett sätt att låta webbplatsägare skilja mellan tjänster som hjälper människor att upptäcka innehåll och de som använder det för andra ändamål.marketscreener+2