Cloudflare lanserer verktøy for å blokkere AI-trening uten å miste synlighet i søk

Cloudflare ↘ 0.55% lanserte tirsdag nye verktøy som lar nettstedseiere blokkere AI-selskaper fra å trene på innholdet deres uten å ofre synlighet i søkemotorer. Dette løser en konflikt som har preget utgivere siden generativ AI endret økonomien på det åpne nettet.

En ny kategori av søkeroboter

Funksjonen, kalt Disallow AI Training, ble tilgjengelig 15. september sammen med en ny "Accountable"-betegnelse som Cloudflare opprettet etter uker med samtaler med store aktører. Apple ↗ 1.02%, Google Alphabet Inc. ↗ 1.62% og Microsoft ↗ 0.92% kvalifiserte seg som ansvarlige ved å oppfylle eller forplikte seg til fire krav: en robots.txt-basert reservasjonsmulighet for trening, en mekanisme for å reservere seg mot AI-oppsummeringer, åpenhet om hvordan innhold brukes, og en garanti om at reservasjon ikke påvirker søkerangeringer.cloudflare+1

Systemet erstatter Cloudflares eldre "Block AI Bots"-bryter med tre uavhengige kontroller: Search, Training og Agent. Dette gir nettstedsoperatører granulær kontroll over hver type automatisert trafikk. Under Disallow AI Training fortsetter "Accountable"-roboter som Googlebot, Applebot og Bingbot å indeksere sider for søk, mens dedikerte treningsroboter fra Amazon, Anthropic, Meta og OpenAI blokkeres direkte.businesswire+2

"Dette er slik vi gjør Internett bedre: ved å bevare åpenheten som gjør søk verdifullt, samtidig som vi gir menneskene og bedriftene bak nettet meningsfull kontroll over hvordan arbeidet deres brukes," sa Matthew Prince, medgründer og administrerende direktør i Cloudflare.businesswire

Hva endres for nettstedseiere

Eksisterende kunder som tidligere valgte "Block" eller "Block on pages with ads" for trening, vil automatisk bli migrert til Disallow AI Training, og Cloudflare opplyser at de fleste nettstedseiere ikke trenger å foreta seg noe. Nye domener som tjener penger på annonser, vil som standard tillate søk, men blokkere trening og agenter på sider med annonser.gulfnews+3

Den praktiske effekten varierer mellom søkemotorene. Hos Google fungerer innstillingen gjennom en Disallow-regel for Google-Extended, som ifølge Googles dokumentasjon ikke påvirker søkerangering. Hos Apple tjener et tilsvarende Applebot-Extended-direktiv samme funksjon. Microsofts Bing støtter foreløpig ikke en robots.txt-preferanse for trening; denne funksjonen er planlagt for tidlig 2027, og i mellomtiden forblir den eksisterende NOARCHIVE-metataggen Bings metode for reservasjon.searchenginejournal+1

AI-oppsummeringer er neste steg

Cloudflare beskriver lanseringen som første steg i en bredere kampanje. Kombinerte søkeroboter utgjorde 36,6 prosent av verifisert trafikk på nettverket deres, men bare 17 prosent av nettstedene begrenset trening, mens under 1 prosent blokkerte søk. Selskapet sier deres neste fokus er AI-oppsummeringer, hvor en enkel av/på-bryter er for grovmasket. Innen tidlig neste år har Cloudflare som mål å la utgivere kontrollere hvor mye av innholdet deres som vises i AI-genererte svar, satt én gang på deres plattform i stedet for hos hver operatør individuelt.cloudflare+1