Պոդկաստներում թաքնված անլսելի հնչյունները կարող են գրավել AI ձայնային օգնականները, պարզել են հետազոտողները

Անվտանգության հետազոտողների մի խումբ ցույց է տվել, որ պոդկաստներում, YouTube-ի տեսանյութերում և ձայնային զանգերում թաքնված աննկատ աուդիո ազդանշանները կարող են մանիպուլյացիայի ենթարկել AI ձայնային օգնականներին՝ ստիպելով նրանց կատարել չարտոնված գործողություններ. այս բացահայտումը ներկայացվել է այս շաբաթ Սան Ֆրանցիսկոյում կայացած IEEE-ի Անվտանգության և գաղտնիության սիմպոզիումին և բացահայտում է խոցելիության նոր դաս ձայնային AI-ի արագ զարգացող աշխարհում:

Ինչպես է աշխատում AudioHijack-ը

AudioHijack կոչվող տեխնիկան մշակվել է Չժեցզյանի համալսարանի, Սինգապուրի ազգային համալսարանի և Նանյանգի տեխնոլոգիական համալսարանի հետազոտողների կողմից: Այն ներդնում է հակառակորդի աուդիո սովորական հնչող մեդիա ֆայլերում՝ երաժշտության, ձայնագրությունների կամ տեսահոլովակների մեջ, որոնք աննկատ են մարդու ականջի համար, բայց ուղղորդում են մեծ աուդիո-լեզվական մոդելներին դեպի հարձակվողի կողմից ընտրված վարքագիծ, ինչպիսիք են վեբ-որոնումներ կատարելը, ֆայլեր ներբեռնելը կամ օգտատիրոջ տվյալներ պարունակող էլեկտրոնային նամակներ ուղարկելը:windowsforum+1

«Այս ազդանշանը մարզելու համար պահանջվում է ընդամենը կես ժամ, և հետո, քանի որ այս ազդանշանը համատեքստից անկախ է, դուք կարող եք օգտագործել այն թիրախային մոդելին հարձակվելու համար ցանկացած պահի, անկախ նրանից, թե ինչ է ասում օգտատերը», — IEEE Spectrum-ին ասել է գլխավոր հեղինակ Մենգ Չենը՝ Չժեցզյանի համալսարանի ասպիրանտ:futurism

Հետազոտողները փորձարկել են AudioHijack-ը 13 բաց աուդիո AI մոդելների դեմ, ներառյալ Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal և Kimi-Audio, հասնելով 79-ից 96 տոկոս հաջողության ցուցանիշի: Նրանք նաև ցույց են տվել, որ բաց կոդով մոդելների համար նախատեսված հարձակումները արդյունավետորեն փոխանցվել են Microsoft ↘ 2.20% Azure-ի և Mistral AI-ի առևտրային ձայնային համակարգերին, քանի որ շատ առևտրային ապրանքներ կառուցված են բաց կոդով հիմքերի վրա:welcome+2

Սահմանափակ պաշտպանություն

Թերևս ամենամտահոգիչն այն է, որ գոյություն ունեցող պաշտպանական մեխանիզմները մեծամասամբ անարդյունավետ են եղել: Հետազոտության համաձայն՝ հուշումների խստացման և մտադրության ստուգման տեխնիկան հարձակման հաջողությունը նվազեցրել է ընդամենը մոտ 7 տոկոսով: Հետազոտողները նշել են, որ մոդելները դժվարանում են տարբերակել օգտատիրոջ օրինական մտադրությունը և աուդիոյում ներդրված հակառակորդի հրահանգները:welcome+1

Այս խոցելիությունը տարբերվում է անլսելի հրամանների վերաբերյալ նախկին հետազոտություններից, որոնք ուղղված էին խոսքի պարզ ճանաչմանը: AudioHijack-ը շահագործում է մեծ աուդիո-լեզվական մոդելների ավելի խորը դատողության շերտերը՝ համակարգեր, որոնք այժմ կարող են ոչ միայն վերծանել խոսքը, այլև կատարել գործողություններ, ինչպիսիք են համացանցում զննարկումը, ֆայլեր մուտք գործելը և օգտատերերի անունից հաղորդագրություններ ուղարկելը:windowsforum

Հետևանքները առօրյա օգտատերերի համար

Հետազոտությունը հրապարակվել է այն ժամանակ, երբ ընկերությունները մրցում են աճող ինքնավարությամբ ձայնային AI գործակալներ ներդնելու համար: Հաղորդվում է, որ Microsoft-ը IEEE Spectrum-ին ասել է, որ իրական աշխարհում ներդրումները սովորաբար ներառում են լրացուցիչ պաշտպանիչ միջոցներ բազային մոդելից դուրս: Այնուամենայնիվ, անվտանգության փորձագետները զգուշացնում են, որ ձայնագրությունը ամփոփող ձայնային օգնականի և կորպորատիվ համակարգերի վրա գործելու ունակ օգնականի միջև եղած բացը ռիսկի պրոֆիլի հիմնարար փոփոխություն է:windowsforum

«Այս միակետային պաշտպանությունները դժվարանում են դիմակայել մեր հարձակմանը, քանի որ մենք պարզել ենք, որ այս մոդելների համար շատ դժվար է տարբերակել օգտատիրոջ նորմալ մտադրությունը և մեր հակառակորդի հարձակումը», — ասել է Չենը:futurism

Բացահայտումները ենթադրում են, որ քանի որ ձայնային AI համակարգերը ձեռք են բերում գործողություններ կատարելու ունակություն՝ ֆայլեր որոնել, էլեկտրոնային նամակներ կազմել, օրացույցներ փոփոխել, աուդիո ալիքն ինքնին դառնում է հարձակման մակերես, որի պաշտպանության համար ընթացիկ անվտանգության ճարտարապետությունները նախատեսված չեն: