პოდკასტებში დამალულმა გაუგონარმა ხმებმა შესაძლოა ხელოვნური ინტელექტის ხმოვანი ასისტენტები გაიტაცოს, აცხადებენ მკვლევარები

AudioHijack, რომელიც შემუშავებულია ჟეჯიანგის უნივერსიტეტისა და სინგაპურის ორი უნივერსიტეტის მკვლევარების მიერ, პოდკასტებსა და ვიდეოებში ნერგავს შეუმჩნეველ ბრძანებებს, რომლებიც 79-96%-იანი წარმატებით იყენებენ ხელოვნური ინტელექტის ხმოვან სისტემებს.futurism+1
ღია კოდის მქონე მოდელების წინააღმდეგ შემუშავებული შეტევები გადავიდა Microsoft -ისა და Mistral AI-ის კომერციულ ხმოვან სისტემებზე, ხოლო არსებულმა დაცვის მექანიზმებმა წარმატება მხოლოდ დაახლოებით 7%-ით შეამცირა.welcome+1
აღმოჩენები, რომლებიც წარდგენილი იქნა IEEE-ს უსაფრთხოებისა და კონფიდენციალურობის სიმპოზიუმზე, ხაზს უსვამს მზარდ რისკებს, რადგან კომპანიები ნერგავენ ხმოვან AI აგენტებს, რომლებსაც შეუძლიათ ინტერნეტში ძიება, შეტყობინებების გაგზავნა და ფაილებზე წვდომა.windowsforum+1

უსაფრთხოების მკვლევართა ჯგუფმა აჩვენა, რომ პოდკასტებში, YouTube-ის ვიდეოებსა და ხმოვან ზარებში დამალულ შეუმჩნეველ აუდიო სიგნალებს შეუძლიათ ხელოვნური ინტელექტის ხმოვანი ასისტენტების მანიპულირება, რათა მათ შეასრულონ არაავტორიზებული მოქმედებები — ეს აღმოჩენა წარდგენილი იქნა ამ კვირაში სან-ფრანცისკოში, IEEE-ს უსაფრთხოებისა და კონფიდენციალურობის სიმპოზიუმზე, რაც ავლენს მოწყვლადობის ახალ კლასს ხმოვან AI-ზე დაფუძნებულ სწრაფად მზარდ სამყაროში.

როგორ მუშაობს AudioHijack

ტექნიკა, სახელწოდებით AudioHijack, შემუშავდა ჟეჯიანგის უნივერსიტეტის, სინგაპურის ეროვნული უნივერსიტეტისა და ნანიანგის ტექნოლოგიური უნივერსიტეტის მკვლევარების მიერ. ის ნერგავს მტრულ აუდიოს ჩვეულებრივი ჟღერადობის მედია ფაილებში — მუსიკაში, ჩანაწერებში ან ვიდეოკლიპებში — რომელიც ადამიანის ყურისთვის შეუმჩნეველია, მაგრამ დიდ აუდიო-ენობრივ მოდელებს მიმართავს თავდამსხმელის მიერ არჩეული ქცევისკენ, როგორიცაა ვებ-ძიების ჩატარება, ფაილების ჩამოტვირთვა ან მომხმარებლის მონაცემების შემცველი ელ.ფოსტის გაგზავნა.windowsforum+1

„ამ სიგნალის გაწვრთნას მხოლოდ ნახევარი საათი სჭირდება და შემდეგ, რადგან ეს სიგნალი კონტექსტურად აგნოსტიკურია, შეგიძლიათ გამოიყენოთ ის სამიზნე მოდელის ნებისმიერ დროს დასატაკებლად, მიუხედავად იმისა, რას ამბობს მომხმარებელი“, — განუცხადა IEEE Spectrum-ს წამყვანმა ავტორმა მენგ ჩენმა, ჟეჯიანგის უნივერსიტეტის დოქტორანტმა.futurism

მკვლევარებმა გამოსცადეს AudioHijack 13 ღია აუდიო AI მოდელის წინააღმდეგ, მათ შორის Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal და Kimi-Audio, და მიაღწიეს წარმატების მაჩვენებელს 79-დან 96 პროცენტამდე. მათ ასევე აჩვენეს, რომ ღია კოდის მოდელებისთვის შემუშავებული შეტევები ეფექტურად გადავიდა Microsoft Azure-ისა და Mistral AI-ის კომერციულ ხმოვან სისტემებზე, რადგან ბევრი კომერციული პროდუქტი აგებულია ღია კოდის საფუძვლებზე.welcome+2

შეზღუდული დაცვა

შესაძლოა ყველაზე შემაშფოთებელი ის არის, რომ არსებული დაცვის მექანიზმები დიდწილად არაეფექტური აღმოჩნდა. კვლევის თანახმად, პრომპტის გამკაცრებისა და განზრახვის შემოწმების ტექნიკამ შეტევის წარმატება მხოლოდ დაახლოებით 7 პროცენტით შეამცირა. მკვლევარებმა აღნიშნეს, რომ მოდელებს უჭირთ გარჩევა ლეგიტიმურ მომხმარებლის განზრახვასა და აუდიოში ჩაშენებულ მტრულ ინსტრუქციებს შორის.welcome+1

ეს მოწყვლადობა განსხვავდება ადრინდელი გაუგონარი ბრძანებების კვლევისგან, რომელიც მიზნად ისახავდა მარტივ მეტყველების ამოცნობას. AudioHijack იყენებს დიდი აუდიო-ენობრივი მოდელების უფრო ღრმა მსჯელობის ფენებს — სისტემებს, რომლებსაც ახლა შეუძლიათ არა მხოლოდ მეტყველების ტრანსკრიბირება, არამედ ისეთი მოქმედებების შესრულება, როგორიცაა ინტერნეტში ძიება, ფაილებზე წვდომა და მომხმარებლების სახელით შეტყობინებების გაგზავნა.windowsforum

შედეგები ყოველდღიური მომხმარებლებისთვის

კვლევა გამოქვეყნდა მაშინ, როდესაც კომპანიები ეჯიბრებიან ერთმანეთს ხმოვანი AI აგენტების დანერგვაში, რომლებსაც მზარდი ავტონომია აქვთ. გავრცელებული ინფორმაციით, Microsoft-მა IEEE Spectrum-ს განუცხადა, რომ რეალურ სამყაროში დანერგვა ჩვეულებრივ მოიცავს დამატებით დამცავ ზომებს საბაზისო მოდელის მიღმა. თუმცა, უსაფრთხოების ექსპერტები აფრთხილებენ, რომ უფსკრული ხმოვან ასისტენტს, რომელიც აჯამებს ჩანაწერს, და იმ ასისტენტს შორის, რომელსაც შეუძლია კორპორატიულ სისტემებზე მოქმედება, წარმოადგენს რისკის პროფილის ფუნდამენტურ ცვლილებას.windowsforum

„ამ ერთწერტილიან დაცვას უჭირს ჩვენი შეტევის წინააღმდეგობა, რადგან აღმოვაჩინეთ, რომ ამ მოდელებისთვის ძალიან რთულია მომხმარებლის ნორმალური განზრახვისა და ჩვენი მტრული შეტევის გარჩევა“, — თქვა ჩენმა.futurism

აღმოჩენები ვარაუდობენ, რომ რადგან ხმოვანი AI სისტემები იძენენ მოქმედებების შესრულების უნარს — ფაილების ძიება, ელ.ფოსტის შედგენა, კალენდრების შეცვლა — თავად აუდიო არხი ხდება შეტევის ზედაპირი, რომლის დასაცავადაც მიმდინარე უსაფრთხოების არქიტექტურები არ არის შექმნილი.

წყაროები (26)