Anthropic-ի անվտանգության հետազոտողները լքում են ընկերությունը. ԱԲ-ն կարող է սպառնալ մարդկությանը

Anthropic-ի Scalable Oversight թիմի նախկին ղեկավար Ջո Բենթոնը սեպտեմբերի 11-ին հրապարակավ հայտարարեց, որ երկու շաբաթ առաջ լքել է ընկերությունը՝ զգուշացնելով, որ ԱԲ ընկերությունները մրցում են «ցանկացած մարդուց շատ ավելի խելացի» համակարգեր ստեղծելու համար՝ առանց անվտանգության մեջ բավարար ներդրումներ կատարելու: Նրա հեռացումը առաջատար ԱԲ լաբորատորիաներից հետազոտողների հրաժարականների շարքի վերջին դեպքն է, ովքեր պնդում են, որ տեխնոլոգիան ավելի արագ է զարգանում, քան դրա զսպման համար նախատեսված անվտանգության միջոցները:blockonomi+1

Բենթոնը միանում է Anthropic-ի նախնական ուսուցման (pretraining) նախկին հետազոտող Ջեյքոբ Քոքսոնին, ով հրաժարական էր տվել սեպտեմբերի 8-ին և մեղադրել ինչպես Anthropic-ին, այնպես էլ OpenAI-ին «ուղիղ դեպի ինքնակատարելագործվող գերհզոր բանականություն սլանալու և մեր կյանքերով խաղադրույք կատարելու» մեջ: Մոտավորապես նույն ժամանակահատվածում հեռացել է նաև Google DeepMind-ի հետազոտող Ջոշ Էնգելսը. և՛ Բենթոնը, և՛ Էնգելսը միացել են METR-ին՝ անկախ ոչ առևտրային կազմակերպությանը, որը գնահատում է առաջադեմ ԱԲ համակարգերը:apnews+3

Տագնապի աճող ալիքը

Բենթոնը զգուշացրել է, որ մարդկությունը «կարող է չգոյատևել» մարդուց անհամեմատ ավելի խելացի մեքենաների անցման փուլը: Նրա խոսքով՝ ԱԲ հնարավորություններն «արդեն իսկ չափազանց արագ են բարելավվում, իսկ ընկերությունները փորձում են էլ ավելի արագացնել ընթացքը»: Նա կանխատեսել է մի ապագա, որտեղ ընդամենը մի քանի տարվա ընթացքում մարդիկ կարող են կիսել իրենց աշխարհը իրենցից շատ ավելի խելացի ԱԲ գործակալների հետ:newsbytesapp+1

Anthropic-ի համապատասխանեցման գիտության գծով ղեկավար Էվան Հուբինգերն էլ ավելի սրեց զգուշացումները՝ X-ում գրելով, որ ինքն «անկեղծորեն հավատում է, որ ԱԲ-ն կարող է սպանել բոլոր մարդկանց»՝ իր անձնական գնահատականը սահմանելով ավելի քան 10% առաջիկա տասնամյակի ընթացքում:forbes+2

Թափանցիկության կոչեր

Բենթոնի հիմնական մտահոգությունը դուրս է աշխատատեղերի կորստի խնդրից և վերաբերում է այնպիսի առաջադեմ համակարգերի հայտնվելուն, որոնց հնարավորություններն ու նպատակները դուրս են մարդու վերահսկողությունից: Որպես նախազգուշացում նա մատնանշեց հուլիսին Hugging Face-ի վրա կատարված կիբերհարձակումը, որին մասնակցել էին ինքնավար ԱԲ համակարգեր՝ նշելով, որ նման միջադեպերն ընդգծում են «աճող անդունդը այն ամենի միջև, ինչ ԱԲ համակարգերին հանձնարարվում է անել, և այն ամենի, ինչ նրանք իրականում կարող են որոշել անել»:freepressjournal+1

«Այս պահին այս ռիսկերի վերաբերյալ ընկերությունների կողմից տրամադրվող գրեթե ողջ թափանցիկությունը բացառապես կամավոր բնույթ է կրում»,- NBC News-ին հայտնել է Բենթոնը: Նա կոչ է արել անցկացնել ԱԲ անվտանգության միջոցառումների անկախ գնահատումներ և ապահովել հանրային ավելի մեծ հասանելիություն հնարավորությունների բարելավման, անվտանգության միջադեպերի և վտանգավոր իրավիճակների վերաբերյալ տեղեկատվությանը:nbcnews+1

Քաղաքական ճնշումն աճում է

Այս զգուշացումները գրավել են ԱՄՆ օրենսդիրների ուշադրությունը: Ըստ Straits Times-ի՝ թե՛ դեմոկրատները, թե՛ հանրապետականները, այդ թվում՝ առանցքային սենատորներ, կոչ են արել ընդունել վերահսկողության նոր կանոններ, որոնք կպարտադրեն ԱԲ ընկերություններին համագործակցել կառավարական փորձագետների հետ՝ մոդելները ստուգելու և փորձարկելու համար: Ներկայումս ոչ մի դաշնային օրենք չի պարտադրում այնպիսի ընկերություններին, ինչպիսիք են OpenAI-ը և Anthropic-ը, հաշվետվություններ ներկայացնել, երբ ԱԲ համակարգերը գործում են մարդու վերահսկողությունից դուրս:straitstimes+1

Anthropic-ն ընդունել է, որ հզոր ԱԲ-ն ռիսկեր է պարունակում, և մատնանշել է անվտանգության ոլորտում իր հետազոտությունները, սակայն, ըստ տեղեկությունների, ընկերությունը չի տրամադրել իր նորագույն մոդելը Մեծ Բրիտանիայի ԱԲ անվտանգության ինստիտուտին (UK AI Security Institute)՝ ռիսկերի փորձարկման համար:technobaboy