OpenAI-ի Astra մոդելը անհանգստացրել է անվտանգության փորձագետներին իր անթափանց տրամաբանությամբ

OpenAI-ի առաջիկա Astra մոդելն օգտագործում է «կրկնվող խորություն» (recurrent depth) կոչվող ճարտարապետական տեխնիկան, որը թույլ է տալիս մոդելին տեղեկատվությունը մշակել նույն նեյրոնային ցանցի շերտերով մի քանի անգամ՝ նախքան պատասխան տալը։ Սա բարելավում է աշխատանքը, սակայն թաքցնում է այն տրամաբանությունը, որին անվտանգության փորձագետները ապավինում են առաջադեմ AI համակարգերը վերահսկելու համար։ Այս բացահայտումը, որն առաջինը հրապարակել է The Information-ը, մտահոգությունների ալիք է բարձրացրել անվտանգության մասնագետների շրջանում, ովքեր «մտքերի շղթայի» (chain-of-thought) վերահսկողությունը համարում են հզոր մոդելների վարքագիծը ստուգելու սակավաթիվ գործիքներից մեկը:theinformation

Ինչպես է աշխատում կրկնվող խորությունը և ինչու է այն անհանգստացնում հետազոտողներին

Տրամաբանական ավանդական մոդելները գրում են իրենց միջանկյալ մտքերը որպես ընթեռնելի տեքստ, այսինքն՝ «մտքերի շղթա», որը մարդիկ կարող են ստուգել։ Կրկնվող խորությունը, փոխարենը, կատարելագործում է ներքին թվային ներկայացումը նույն տրանսֆորմատորային շերտերով բազմակի անցումների միջոցով՝ ստեղծելով այն, ինչ հետազոտողներն անվանում են «նեյրոնային լեզու» (neuralese)՝ սեղմված մաթեմատիկական տրամաբանություն, որը երբեք չի թարգմանվում մարդկային լեզվի։ Այս տեխնիկան, ըստ հաղորդումների, բարելավում է մաթեմատիկական և ծրագրավորման ունակությունները՝ միաժամանակ նվազեցնելով հարյուրավոր լրացուցիչ տեսանելի տրամաբանական բառեր գեներացնելու հաշվարկային ծախսերը:officechai+1

Փոխարենը տուժում է թափանցիկությունը։ AI անվտանգության հետազոտող Ռայան Գրինբլատը այս տեսակի անթափանց տրամաբանության անցումը որակել է որպես AI անվտանգության համար հնարավոր ամենավատ զարգացումներից մեկը, քանի որ այն վերացնում է մոդելի մտածողության պատուհանը, որին հետազոտողները ապավինում էին խաբեբայական կամ չարտոնված վարքագիծը բացահայտելու համար։ Գերի Մարկուսը Substack-ում այն անվանել է «անվտանգության կարմիր գիծ»՝ պնդելով, որ մտքերի շղթայի ընթեռնելիությունը արդյունավետության համար զոհաբերելը «վտանգավոր խաղ է»:garymarcus.substack+1

OpenAI-ի հակադարձումը

OpenAI-ի հետազոտությունների գծով գլխավոր տնօրեն Յակուբ Պաչոցկին X-ում արձագանքել է՝ նշելով, որ ցանկանում է «կանխել շփոթեցնող հրապարակումների պատճառով սկսված մրցավազքը դեպի անվերահսկելիություն»։ Նա պնդել է, որ Astra-ի հաշվարկային գրաֆիկի խորությունը GPT-4-ի համեմատ ընդամենը երկու անգամ է տարբերվում, և որ OpenAI-ը «աշխատել է պահպանել և օգտագործել մտքերի շղթայի վերահսկողությունը» իր առաջին տրամաբանական մոդելներից ի վեր։ Նա, սակայն, ընդունել է, որ մտքերի շղթայի վերահսկողությունը «փխրուն է և, ցավոք, բացասական միտում ունի»:chaincatcher+1

Ըստ հաղորդումների՝ OpenAI-ը սահմանափակել է Astra-ի կողմից կրկնվող խորության օգտագործումը՝ ընթեռնելի տրամաբանական արդյունքը պահպանելու համար և նախատեսում է թողարկման ժամանակ լրացուցիչ վերահսկողություն իրականացնել։ Օգոստոսի 31-ին ընկերությունը հաստատել է, որ Astra-ն իր առաջին մոդելն է, որը համապատասխանում է իր «Պատրաստվածության շրջանակի» (Preparedness Framework) կիբերանվտանգության «կրիտիկական» շեմին, ինչը նշանակում է, որ այն կարող է ինքնուրույն հայտնաբերել և օգտագործել զրոյական օրվա խոցելիությունները:kucoin+2

Կանխատեսումը ժամանակից շուտ է իրականանում

Այս զարգացումը հատուկ ուշադրություն է գրավել, քանի որ այն սերտորեն կրկնում է 2025 թվականի ապրիլին OpenAI-ի նախկին հետազոտող Դանիել Կոկոտայլոյի և համահեղինակների կողմից հրապարակված «AI 2027» էսսեում նկարագրված սցենարը։ Այդ էսսեն կանխատեսում էր անցում դեպի «նեյրոնային լեզվի կրկնություն», որը մոդելի տրամաբանությունը կհեռացներ ընթեռնելի տեքստից, սակայն այն նախատեսված էր 2027 թվականի մարտի համար և ենթադրում էր, որ դրա համար կպահանջվեն հազարավոր ավտոմատացված AI հետազոտողներ։ Կոկոտայլոն լուրին արձագանքել է՝ գրելով. «Սուրբ Աստված»։ Եթե The Information-ի տեղեկատվությունը ճիշտ է, ապա նրա նախազգուշացրած սցենարի մի տարբերակը կարող է հայտնվել շուկայում նրա կանխատեսած ժամկետից մոտ 18 ամիս շուտ:officechai