Cloudflare-ը գործարկել է գործիք, որը թույլ է տալիս արգելափակել AI-ի ուսուցումը՝ պահպանելով որոնողական տեսանելիությունը

Cloudflare ↘ 10.90%-ը երեքշաբթի օրը ներկայացրեց նոր գործիքներ, որոնք կայքերի սեփականատերերին թույլ են տալիս արգելափակել AI ընկերություններին իրենց բովանդակության վրա ուսուցում իրականացնելուց՝ առանց որոնողական համակարգերում տեսանելիությունը զոհաբերելու. սա լուծում է այն լարվածությունը, որը հետապնդում էր հրատարակիչներին այն պահից, երբ գեներատիվ AI-ն փոխեց բաց համացանցի տնտեսությունը:

Քրոուլերների նոր կատեգորիա

Disallow AI Training անվանումով գործառույթը գործարկվել է սեպտեմբերի 15-ին՝ նոր «Accountable» կարգավիճակի հետ միասին, որը Cloudflare-ը ստեղծել է քրոուլերների խոշոր օպերատորների հետ շաբաթներ տևած բանակցություններից հետո։ Apple ↘ 1.90%, Google Alphabet Inc. ↘ 1.76% և Microsoft ↘ 3.43% ընկերությունները համապատասխանել են «Accountable»-ի չափանիշներին՝ բավարարելով կամ պարտավորվելով կատարել չորս պահանջ՝ robots.txt-ի վրա հիմնված ուսուցումից հրաժարվելու մեխանիզմ, AI-ի ամփոփումներից հրաժարվելու հնարավորություն, URL-ի մակարդակով թափանցիկություն և երաշխիք, որ ուսուցումից հրաժարվելը չի ազդի որոնողական վարկանիշների վրա:cloudflare+1

Համակարգը փոխարինում է Cloudflare-ի հին «Block AI Bots» անջատիչը երեք անկախ կառավարման գործիքներով՝ Search, Training և Agent, ինչը կայքի օպերատորներին տալիս է ավտոմատացված երթևեկության նկատմամբ մանրամասն վերահսկողություն։ Disallow AI Training-ի շրջանակներում, այնպիսի «Accountable» քրոուլերներ, ինչպիսիք են Googlebot-ը, Applebot-ը և Bingbot-ը, շարունակում են ինդեքսավորել էջերը որոնման համար, մինչդեռ Amazon-ի, Anthropic-ի, Meta-ի և OpenAI-ի մասնագիտացված քրոուլերներն ամբողջությամբ արգելափակվում են:businesswire+2

«Այսպես ենք մենք ինտերնետն ավելի լավը դարձնում. պահպանելով բացությունը, որը որոնումը դարձնում է արժեքավոր, և միաժամանակ մարդկանց ու բիզնեսներին տալով իրենց աշխատանքի օգտագործման նկատմամբ իրական վերահսկողություն», — ասել է Cloudflare-ի համահիմնադիր և գործադիր տնօրեն Մեթյու Փրինսը:businesswire

Ի՞նչ է փոխվում կայքերի սեփականատերերի համար

Գործող հաճախորդները, ովքեր նախկինում ընտրել էին «Block» կամ «Block on pages with ads» տարբերակները, ավտոմատ կերպով կտեղափոխվեն Disallow AI Training, և Cloudflare-ը նշում է, որ կայքերի սեփականատերերի մեծ մասը կարիք չունի որևէ գործողություն ձեռնարկելու։ Նոր դոմենները, որոնք դրամայնացվում են գովազդի միջոցով, լռելյայն թույլ կտան որոնումը, սակայն կարգելափակեն ուսուցումը և գործակալները գովազդ պարունակող էջերում:gulfnews+3

Յուրաքանչյուր որոնողական համակարգում գործնական ազդեցությունը տարբեր է։ Google-ում կարգավորումն աշխատում է Google-Extended-ի համար նախատեսված Disallow կանոնի միջոցով, որը, ըստ Google-ի փաստաթղթերի, չի ազդում որոնողական վարկանիշի վրա։ Apple-ում նույն գործառույթն իրականացնում է Applebot-Extended հրահանգը։ Microsoft-ի Bing-ը դեռևս չի աջակցում robots.txt-ի ուսուցումից հրաժարվելու նախապատվությանը. այդ հնարավորությունը նախատեսված է 2027 թվականի սկզբի համար, իսկ մինչ այդ Bing-ի համար մնում է գործող NOARCHIVE մետա թեգը:searchenginejournal+1

Հաջորդը՝ AI ամփոփումները

Cloudflare-ը այս գործարկումը ներկայացրեց որպես ավելի լայն արշավի առաջին քայլ։ Խառը տիպի քրոուլերները կազմում են ցանցի վերիֆիկացված երթևեկության 36.6 տոկոսը, սակայն կայքերի միայն 17 տոկոսն էր սահմանափակում ուսուցումը, իսկ 1 տոկոսից պակասը՝ արգելափակում որոնումը։ Ընկերության խոսքով՝ իրենց հաջորդ թիրախը AI-ի ամփոփումներն են։ Մինչև հաջորդ տարվա սկիզբը Cloudflare-ը նպատակ ունի հրատարակիչներին հնարավորություն տալ վերահսկել, թե իրենց բովանդակության որ մասը կհայտնվի AI-ի պատասխաններում՝ կարգավորումը կատարելով մեկ անգամ հարթակի մակարդակով:cloudflare+1