Forskare har funnit att ohörbara ljud dolda i poddar kan kapa AI-röstassistenter

Ett team av säkerhetsforskare har visat att omärkliga ljudsignaler dolda i poddar, YouTube-videor och röstsamtal kan manipulera AI-röstassistenter till att utföra obehöriga handlingar – ett resultat som presenterades denna vecka vid IEEE Symposium on Security and Privacy i San Francisco och som exponerar en ny klass av sårbarhet i den snabbt växande världen av röstbaserad AI.

Hur AudioHijack fungerar

Tekniken, kallad AudioHijack, utvecklades av forskare från Zhejiang University, National University of Singapore och Nanyang Technological University. Den bäddar in fientligt ljud i mediefiler som låter vanliga – musik, inspelningar eller videoklipp – som är oupptäckbart för mänskliga öron men som styr stora ljud-språkmodeller mot angripar-valda beteenden som att utföra webbsökningar, ladda ner filer eller skicka e-postmeddelanden som innehåller användardata.windowsforum+1

"Det tar bara en halvtimme att träna denna signal, och eftersom denna signal är kontextoberoende kan du använda den för att attackera målmodellen när du vill, oavsett vad användaren säger", sa huvudförfattaren Meng Chen, doktorand vid Zhejiang University, till IEEE Spectrum.futurism

Forskarna testade AudioHijack mot 13 öppna ljud-AI-modeller, inklusive Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal och Kimi-Audio, och uppnådde framgångsgrader mellan 79 och 96 procent. De demonstrerade också att attacker utformade för modeller med öppen källkod effektivt överfördes till kommersiella röstsystem från Microsoft ↘ 0.99% Azure och Mistral AI, eftersom många kommersiella produkter är byggda på fundament med öppen källkod.welcome+2

Begränsat försvar

Kanske mest oroande är att befintliga försvar visade sig vara i stort sett ineffektiva. Prompt-härdning och tekniker för avsiktsverifiering minskade attackframgången med endast cirka 7 procent, enligt resultaten. Forskarna noterade att modeller kämpar med att skilja mellan legitim användaravsikt och fientliga instruktioner inbäddade i ljudet.welcome+1

Sårbarheten skiljer sig från tidigare forskning om ohörbara kommandon som riktade sig mot enkel taligenkänning. AudioHijack utnyttjar de djupare resonemangslagren i stora ljud-språkmodeller – system som nu kan inte bara transkribera tal utan även utföra handlingar som att surfa på webben, komma åt filer och skicka meddelanden för användares räkning.windowsforum

Implikationer för vardagsanvändare

Forskningen kommer i en tid då företag tävlar om att distribuera röst-AI-agenter med ökande autonomi. Microsoft ska ha sagt till IEEE Spectrum att distributioner i verkligheten vanligtvis inkluderar ytterligare säkerhetsåtgärder utöver basmodellen. Men säkerhetsexperter varnar för att gapet mellan en röstassistent som sammanfattar en inspelning och en som kan agera i företagssystem representerar en fundamental förändring i riskprofilen.windowsforum

"Dessa enpunktsförsvar kämpar med att motstå vår attack eftersom vi fann att det är väldigt svårt för dessa modeller att skilja mellan normal användaravsikt och vår fientliga attack", sa Chen.futurism

Resultaten tyder på att när röst-AI-system får förmågan att utföra handlingar – söka i filer, skriva e-postmeddelanden, ändra kalendrar – blir själva ljudkanalen en attackyta som nuvarande säkerhetsarkitekturer inte är utformade för att försvara.