„Cloudflare“ pristatė įrankį, blokuojantį AI mokymą neprarandant matomumo paieškoje

„Cloudflare“ ↘ 10.51% antradienį pristatė naujus įrankius, leidžiančius svetainių savininkams blokuoti AI įmones nuo jų turinio naudojimo mokymui, neaukojant matomumo paieškos sistemose. Tai išsprendžia įtampą, varginusią leidėjus nuo tada, kai generatyvinis AI pakeitė atvirojo žiniatinklio ekonomiką.

Nauja paieškos robotų kategorija

Funkcija, pavadinta „Disallow AI Training“, pradėjo veikti rugsėjo 15 d. kartu su nauju „Accountable“ statusu, kurį „Cloudflare“ sukūrė po savaites trukusių derybų su pagrindiniais paieškos robotų operatoriais. „Apple“ ↘ 1.90%, „Google Alphabet Inc.“ ↘ 1.76% ir „Microsoft“ ↘ 3.43% atitiko „Accountable“ kriterijus, įvykdę arba įsipareigoję įvykdyti keturis reikalavimus: „robots.txt“ pagrįstą mokymo atsisakymą, mechanizmą atsisakyti AI santraukų, URL lygio skaidrumą apie turinio naudojimą ir garantiją, kad mokymo atsisakymas neturės įtakos paieškos reitingams.cloudflare+1

Ši sistema pakeičia senesnį „Cloudflare“ jungiklį „Block AI Bots“ trimis nepriklausomais valdikliais: „Search“, „Training“ ir „Agent“, suteikiančiais svetainių operatoriams tikslią kontrolę kiekvieno tipo automatizuotam srautui. Naudojant „Disallow AI Training“, „Accountable“ mišraus naudojimo robotai, tokie kaip „Googlebot“, „Applebot“ ir „Bingbot“, toliau indeksuoja puslapius paieškai, o specializuoti mokymo robotai iš „Amazon“, „Anthropic“, „Meta“ ir „OpenAI“ yra visiškai blokuojami.businesswire+2

„Štai kaip mes darome internetą geresnį: išsaugome atvirumą, kuris daro paiešką vertingą, kartu suteikdami žmonėms ir verslams, esantiems už žiniatinklio, prasmingą kontrolę, kaip naudojami jų darbai“, – sakė Matthew Prince, „Cloudflare“ bendraįkūrėjas ir generalinis direktorius.businesswire

Kas keičiasi svetainių savininkams

Esami klientai, kurie anksčiau pasirinko „Block“ arba „Block on pages with ads“ mokymui, bus automatiškai perkelti į „Disallow AI Training“, ir „Cloudflare“ teigia, kad daugumai svetainių savininkų nereikia imtis jokių veiksmų. Nauji domenai, kurie monetizuojami reklama, pagal nutylėjimą leis paiešką, bet neleis mokymo ir blokuos agentus puslapiuose su reklama.gulfnews+3

Praktinis poveikis kiekvienoje paieškos sistemoje skiriasi. „Google“ atveju nustatymas veikia per „Disallow“ taisyklę „Google-Extended“, kuri, pasak „Google“ dokumentacijos, neturi įtakos paieškos reitingui. „Apple“ atveju lygiagreti „Applebot-Extended“ direktyva atlieka tą pačią funkciją. „Microsoft“ „Bing“ kol kas nepalaiko „robots.txt“ mokymo atsisakymo nuostatos; ši galimybė numatyta 2027 m. pradžiai, o kol kas esama „NOARCHIVE“ meta žyma išlieka „Bing“ mokymo atsisakymo būdu.searchenginejournal+1

AI santraukos yra kitas žingsnis

„Cloudflare“ pristatė šią iniciatyvą kaip pirmąjį žingsnį platesnėje kampanijoje. Mišraus naudojimo robotai sudarė 36,6 proc. patikrinto robotų srauto jų tinkle – tai didžiausia kategorija – tačiau tik 17 proc. svetainių apribojo mokymą, o mažiau nei 1 proc. blokavo paiešką. Bendrovė teigė, kad kitas jos dėmesio centras yra AI santraukos, kur dvejetainis „taip“ arba „ne“ yra „per grubus“ įrankis. Iki kitų metų pradžios „Cloudflare“ siekia leisti leidėjams kontroliuoti, kiek jų turinio rodoma AI sugeneruotuose atsakymuose, nustatant tai vieną kartą savo platformoje, o ne kiekvienam operatoriui atskirai.cloudflare+1