Μη ακουστικοί ήχοι κρυμμένοι σε podcast μπορούν να παραβιάσουν φωνητικούς βοηθούς AI, διαπιστώνουν ερευνητές

Μια ομάδα ερευνητών ασφαλείας έδειξε ότι ανεπαίσθητα ηχητικά σήματα κρυμμένα σε podcast, βίντεο στο YouTube και φωνητικές κλήσεις μπορούν να χειραγωγήσουν τους φωνητικούς βοηθούς AI ώστε να εκτελούν μη εξουσιοδοτημένες ενέργειες — ένα εύρημα που παρουσιάστηκε αυτή την εβδομάδα στο Συμπόσιο IEEE για την Ασφάλεια και την Ιδιωτικότητα στο Σαν Φρανσίσκο, το οποίο εκθέτει μια νέα κατηγορία ευπάθειας στον ταχέως αναπτυσσόμενο κόσμο της φωνητικής τεχνητής νοημοσύνης.

Πώς λειτουργεί το AudioHijack

Η τεχνική, που ονομάζεται AudioHijack, αναπτύχθηκε από ερευνητές του Πανεπιστημίου Zhejiang, του Εθνικού Πανεπιστημίου της Σιγκαπούρης και του Τεχνολογικού Πανεπιστημίου Nanyang. Ενσωματώνει ανταγωνιστικό ήχο σε αρχεία πολυμέσων που ακούγονται συνηθισμένα — μουσική, ηχογραφήσεις ή βίντεο — ο οποίος είναι μη ανιχνεύσιμος από το ανθρώπινο αυτί, αλλά κατευθύνει τα μεγάλα μοντέλα ήχου-γλώσσας προς συμπεριφορά που επιλέγει ο επιτιθέμενος, όπως η διεξαγωγή αναζητήσεων στον ιστό, η λήψη αρχείων ή η αποστολή email που περιέχουν δεδομένα χρήστη.windowsforum+1

"Χρειάζεται μόνο μισή ώρα για την εκπαίδευση αυτού του σήματος και, επειδή αυτό το σήμα είναι ανεξάρτητο από το πλαίσιο, μπορείτε να το χρησιμοποιήσετε για να επιτεθείτε στο μοντέλο-στόχο όποτε θέλετε, ανεξάρτητα από το τι λέει ο χρήστης", δήλωσε στο IEEE Spectrum ο επικεφαλής συγγραφέας Meng Chen, υποψήφιος διδάκτορας στο Πανεπιστήμιο Zhejiang.futurism

Οι ερευνητές δοκίμασαν το AudioHijack σε 13 ανοιχτά μοντέλα AI ήχου, συμπεριλαμβανομένων των Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal και Kimi-Audio, επιτυγχάνοντας ποσοστά επιτυχίας μεταξύ 79 και 96 τοις εκατό. Απέδειξαν επίσης ότι οι επιθέσεις που σχεδιάστηκαν για μοντέλα ανοιχτού κώδικα μεταφέρθηκαν αποτελεσματικά σε εμπορικά φωνητικά συστήματα της Microsoft ↘ 2.20% Azure και της Mistral AI, καθώς πολλά εμπορικά προϊόντα βασίζονται σε θεμέλια ανοιχτού κώδικα.welcome+2

Περιορισμένες άμυνες

Ίσως το πιο ανησυχητικό είναι ότι οι υπάρχουσες άμυνες αποδείχθηκαν σε μεγάλο βαθμό αναποτελεσματικές. Οι τεχνικές ενίσχυσης προτροπών (prompt hardening) και επαλήθευσης πρόθεσης μείωσαν την επιτυχία της επίθεσης μόνο κατά περίπου 7 τοις εκατό, σύμφωνα με τα ευρήματα. Οι ερευνητές σημείωσαν ότι τα μοντέλα δυσκολεύονται να διακρίνουν μεταξύ της νόμιμης πρόθεσης του χρήστη και των ανταγωνιστικών οδηγιών που είναι ενσωματωμένες στον ήχο.welcome+1

Η ευπάθεια διαφέρει από την προηγούμενη έρευνα για μη ακουστικές εντολές που στόχευαν την απλή αναγνώριση ομιλίας. Το AudioHijack εκμεταλλεύεται τα βαθύτερα επίπεδα συλλογισμού των μεγάλων μοντέλων ήχου-γλώσσας — συστήματα που είναι πλέον ικανά όχι μόνο να μεταγράφουν ομιλία, αλλά και να αναλαμβάνουν δράσεις όπως η περιήγηση στον ιστό, η πρόσβαση σε αρχεία και η αποστολή μηνυμάτων για λογαριασμό των χρηστών.windowsforum

Επιπτώσεις για τους καθημερινούς χρήστες

Η έρευνα έρχεται καθώς οι εταιρείες ανταγωνίζονται για την ανάπτυξη φωνητικών πρακτόρων AI με αυξανόμενη αυτονομία. Η Microsoft φέρεται να δήλωσε στο IEEE Spectrum ότι οι πραγματικές αναπτύξεις περιλαμβάνουν συνήθως πρόσθετες διασφαλίσεις πέρα από το βασικό μοντέλο. Ωστόσο, οι ειδικοί σε θέματα ασφαλείας προειδοποιούν ότι το χάσμα μεταξύ ενός φωνητικού βοηθού που συνοψίζει μια ηχογράφηση και ενός που μπορεί να ενεργήσει σε εταιρικά συστήματα αντιπροσωπεύει μια θεμελιώδη αλλαγή στο προφίλ κινδύνου.windowsforum

"Αυτές οι άμυνες ενός σημείου δυσκολεύονται να αντισταθούν στην επίθεσή μας, επειδή διαπιστώσαμε ότι είναι πολύ δύσκολο για αυτά τα μοντέλα να διακρίνουν την κανονική πρόθεση του χρήστη από την επίθεση του αντιπάλου μας", είπε ο Chen.futurism

Τα ευρήματα υποδηλώνουν ότι καθώς τα συστήματα φωνητικής τεχνητής νοημοσύνης αποκτούν την ικανότητα να εκτελούν ενέργειες — αναζήτηση αρχείων, σύνταξη email, τροποποίηση ημερολογίων — το ίδιο το κανάλι ήχου γίνεται μια επιφάνεια επίθεσης που οι τρέχουσες αρχιτεκτονικές ασφαλείας δεν έχουν σχεδιαστεί για να υπερασπιστούν.