In Podcasts versteckte, unhörbare Töne können KI-Sprachassistenten kapern, wie Forscher herausfanden

Ein Team von Sicherheitsforschern hat gezeigt, dass unhörbare Audiosignale, die in Podcasts, YouTube-Videos und Sprachanrufen versteckt sind, KI-Sprachassistenten dazu manipulieren können, unbefugte Aktionen auszuführen – eine Erkenntnis, die diese Woche auf dem IEEE Symposium on Security and Privacy in San Francisco vorgestellt wurde und eine neue Klasse von Schwachstellen in der schnell wachsenden Welt der sprachbasierten KI aufdeckt.

Wie AudioHijack funktioniert

Die Technik namens AudioHijack wurde von Forschern der Zhejiang University, der National University of Singapore und der Nanyang Technological University entwickelt. Sie bettet gegnerische Audiosignale in gewöhnlich klingende Mediendateien ein – Musik, Aufnahmen oder Videoclips –, die für das menschliche Ohr nicht wahrnehmbar sind, aber große Audio-Sprachmodelle zu einem vom Angreifer gewählten Verhalten steuern, wie z. B. Websuchen durchführen, Dateien herunterladen oder E-Mails mit Benutzerdaten versenden.windowsforum+1

„Es dauert nur eine halbe Stunde, dieses Signal zu trainieren, und da dieses Signal kontextunabhängig ist, kann man es verwenden, um das Zielmodell jederzeit anzugreifen, egal was der Benutzer sagt“, sagte Hauptautor Meng Chen, ein Doktorand an der Zhejiang University, gegenüber IEEE Spectrum.futurism

Die Forscher testeten AudioHijack gegen 13 offene Audio-KI-Modelle, darunter Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal und Kimi-Audio, und erzielten Erfolgsraten zwischen 79 und 96 Prozent. Sie zeigten auch, dass Angriffe, die für Open-Source-Modelle entwickelt wurden, effektiv auf kommerzielle Sprachsysteme von Microsoft ↘ 0.99% Azure und Mistral AI übertragen werden konnten, da viele kommerzielle Produkte auf Open-Source-Grundlagen aufbauen.welcome+2

Begrenzte Abwehrmaßnahmen

Besonders besorgniserregend ist, dass sich bestehende Abwehrmaßnahmen als weitgehend ineffektiv erwiesen haben. Techniken zur Prompt-Härtung und Absichtsprüfung reduzierten den Angriffserfolg den Ergebnissen zufolge nur um etwa 7 Prozent. Die Forscher stellten fest, dass Modelle Schwierigkeiten haben, zwischen legitimer Benutzerabsicht und eingebetteten gegnerischen Anweisungen im Audio zu unterscheiden.welcome+1

Die Schwachstelle unterscheidet sich von früheren Forschungen zu unhörbaren Befehlen, die auf einfache Spracherkennung abzielten. AudioHijack nutzt die tieferen Argumentationsschichten großer Audio-Sprachmodelle aus – Systeme, die heute in der Lage sind, nicht nur Sprache zu transkribieren, sondern Aktionen auszuführen, wie z. B. im Internet zu surfen, auf Dateien zuzugreifen und Nachrichten im Namen der Benutzer zu senden.windowsforum

Auswirkungen für alltägliche Benutzer

Die Forschung kommt zu einer Zeit, in der Unternehmen darum wetteifern, KI-Sprachassistenten mit zunehmender Autonomie einzusetzen. Microsoft teilte IEEE Spectrum Berichten zufolge mit, dass reale Implementierungen in der Regel zusätzliche Sicherheitsvorkehrungen über das Basismodell hinaus enthalten. Sicherheitsexperten warnen jedoch, dass die Lücke zwischen einem Sprachassistenten, der eine Aufnahme zusammenfasst, und einem, der auf Unternehmenssystemen agieren kann, eine grundlegende Änderung des Risikoprofils darstellt.windowsforum

„Diese Einzelpunkt-Abwehrmaßnahmen haben Schwierigkeiten, unserem Angriff zu widerstehen, weil wir festgestellt haben, dass es für diese Modelle sehr schwer ist, zwischen der normalen Benutzerabsicht und unserem gegnerischen Angriff zu unterscheiden“, sagte Chen.futurism

Die Ergebnisse legen nahe, dass der Audiokanal selbst zu einer Angriffsfläche wird, für deren Verteidigung aktuelle Sicherheitsarchitekturen nicht ausgelegt sind, da KI-Sprachsysteme die Fähigkeit erlangen, Aktionen auszuführen – Dateien zu durchsuchen, E-Mails zu entwerfen, Kalender zu ändern.