Cloudflare begynner automatisk blokkering av KI-boter på millioner av nettsteder

Cloudflare ↘ 0.95% begynte tirsdag å håndheve nye standardregler som automatisk blokkerer KI-trenings- og agentboter på millioner av nettsteder. Dette markerer et av de største skiftene hittil i hvordan utgivere håndterer sitt forhold til KI-industrien.

Hva som endres i dag

Under den nye praksisen vil alle nye domener som kobler seg til Cloudflare, samt eksisterende gratiskunder som ikke justerte innstillingene sine før fristen, få KI-trenings- og agentboter blokkert som standard på sider som viser annonser. Søkeboter, altså de som indekserer innhold slik at brukere kan finne det senere, er fortsatt tillatt.gulfnews+3

Selskapet kunngjorde endringene først 1. juli 2026 på det det kalte sin andre årlige "Content Independence Day", og ga nettstedseiere et vindu på omtrent to og en halv måned til å konfigurere innstillingene før standardene trådte i kraft. Cloudflare ligger foran mer enn 20 % av alle nettdomener, ifølge selskapets egne tall, noe som gir regelendringen stor rekkevidde over hele internett.cloudflare+2

Et system med tre kategorier

I stedet for å behandle alle KI-boter likt, sorterer Cloudflare nå automatisert trafikk i tre kategorier: Søk, Trening og Agent. Nettstedseiere kan blokkere hver kategori uavhengig av hverandre, og kan for hver kategori velge å blokkere på alle sider, blokkere kun på sider med annonser, eller tillate tilgang helt.developers.cloudflare+2

En viktig detalj gjelder flerbruksboter. Boter som Googlebot, Applebot og BingBot, som tjener både søkeindeksering og KI-treningsfunksjoner, vil bli underlagt den mest restriktive regelen som gjelder. Det betyr at nettsteder som har valgt å blokkere treningsboter, inkludert de som tidligere aktiverte den eldre innstillingen "Blokker KI-boter", utilsiktet kan blokkere søkeboten til Googles Alphabet Inc. ↘ 1.24% i samme slengen.cloudflare+3

Spenningen blant utgiverne

Retningslinjene gjenspeiler en økende frustrasjon blant utgivere over at KI-selskaper bruker innholdet deres uten å sende betydelig trafikk i retur. Tradisjonelle søkemotorer henter og indekserer sider, og sender deretter brukerne tilbake til kilden. Generative KI-tjenester henter ofte ut informasjon og presenterer svar direkte, noe som reduserer besøkene til det opprinnelige nettstedet.gulfnews

Cloudflare gir også enkelte kunder analyser som viser hvor ofte individuelle KI-aktører besøker nettstedene deres sammenlignet med henvisningstrafikken de genererer. Administrerende direktør Matthew Prince fremstilte tiltaket ikke som en ren blokkering av KI, men som en måte å la nettstedseiere skille mellom tjenester som hjelper folk med å oppdage innhold, og de som bruker det til andre formål.marketscreener+2