Cloudflare spouští nástroj pro blokování AI tréninku bez ztráty viditelnosti ve vyhledávání

Společnost Cloudflare ↗ 2.99% v úterý představila nové nástroje, které umožňují majitelům webů blokovat společnosti zabývající se umělou inteligencí v trénování na jejich obsahu, aniž by obětovali viditelnost ve vyhledávačích. Tím se řeší napětí, které trápí vydavatele od té doby, co generativní AI změnila ekonomiku otevřeného webu.

Nová kategorie crawlerů

Funkce s názvem Disallow AI Training byla spuštěna 15. září spolu s novým označením "Accountable", které Cloudflare vytvořil po týdnech jednání s hlavními provozovateli crawlerů. Apple ↘ 0.24%, Google Alphabet Inc. ↗ 1.02% a Microsoft ↗ 1.48% splnily podmínky pro toto označení tím, že splnily nebo se zavázaly splnit čtyři požadavky: možnost odmítnout trénování prostřednictvím robots.txt, mechanismus pro odmítnutí AI shrnutí, transparentnost na úrovni URL ohledně využití obsahu a záruku, že odmítnutí trénování neovlivní hodnocení ve vyhledávání.cloudflare+1

Systém nahrazuje starší přepínač "Block AI Bots" od Cloudflare třemi nezávislými ovládacími prvky: Search, Training a Agent, které poskytují provozovatelům webů podrobnou kontrolu nad každým typem automatizovaného provozu. V rámci Disallow AI Training pokračují "Accountable" crawlery pro smíšené použití, jako jsou Googlebot, Applebot a Bingbot, v indexování stránek pro vyhledávání, zatímco specializované trénovací crawlery od Amazonu, Anthropicu, Mety a OpenAI jsou zcela blokovány.businesswire+2

"Tímto způsobem děláme internet lepším: zachováváme otevřenost, díky níž je vyhledávání cenné, a zároveň dáváme lidem a firmám za webem smysluplnou kontrolu nad tím, jak je jejich práce využívána," uvedl Matthew Prince, spoluzakladatel a generální ředitel Cloudflare.businesswire

Co se mění pro majitele webů

Stávající zákazníci, kteří dříve zvolili "Block" nebo "Block on pages with ads" pro trénování, budou automaticky převedeni na Disallow AI Training a Cloudflare uvádí, že většina majitelů webů nemusí podnikat žádné kroky. Nové domény, které monetizují pomocí reklamy, budou ve výchozím nastavení povolovat vyhledávání, ale zakazovat trénování a blokovat agenty na stránkách s reklamou.gulfnews+3

Praktický dopad se u každého vyhledávače liší. U Googlu funguje nastavení prostřednictvím pravidla Disallow pro Google-Extended, které podle dokumentace Googlu neovlivňuje hodnocení ve vyhledávání. U Applu slouží ke stejnému účelu paralelní direktiva Applebot-Extended. Bing od Microsoftu zatím nepodporuje předvolbu pro odmítnutí trénování v robots.txt; tato možnost je plánována na začátek roku 2027 a mezitím zůstává stávající meta tag NOARCHIVE způsobem, jakým Bing řeší odmítnutí trénování.searchenginejournal+1

AI shrnutí jsou na řadě

Cloudflare označil spuštění za první krok širší kampaně. Crawlery pro smíšené použití tvořily 36,6 procenta ověřeného provozu crawlerů v jeho síti, což je největší kategorie, přesto pouze 17 procent webů omezilo trénování, zatímco méně než 1 procento blokovalo vyhledávání. Společnost uvedla, že jejím dalším zaměřením jsou AI shrnutí, kde je binární volba "ano" nebo "ne" příliš hrubým nástrojem. Do začátku příštího roku chce Cloudflare umožnit vydavatelům kontrolovat, kolik jejich obsahu se zobrazuje v odpovědích generovaných AI, a to nastavením jednou na své platformě namísto nastavování pro každého operátora zvlášť.cloudflare+1