Forskere har funnet at uhørlige lyder skjult i podcaster kan kapre AI-stemmeassistenter

Et team av sikkerhetsforskere har vist at umerkelige lydsignaler skjult i podcaster, YouTube-videoer og taleanrop kan manipulere AI-stemmeassistenter til å utføre uautoriserte handlinger – et funn presentert denne uken på IEEE Symposium on Security and Privacy i San Francisco som eksponerer en ny klasse sårbarhet i den raskt voksende verdenen av stemmebasert AI.

Hvordan AudioHijack fungerer

Teknikken, kalt AudioHijack, ble utviklet av forskere fra Zhejiang University, National University of Singapore og Nanyang Technological University. Den bygger inn fiendtlig lyd i mediefiler som høres vanlige ut – musikk, opptak eller videoklipp – som er uoppdagelig for menneskeører, men som styrer store lyd-språkmodeller mot angriper-valgt atferd som å utføre nettsøk, laste ned filer eller sende e-poster som inneholder brukerdata.windowsforum+1

«Det tar bare en halvtime å trene dette signalet, og fordi dette signalet er kontekstuavhengig, kan du bruke det til å angripe målmodellen når du vil, uansett hva brukeren sier,» sa hovedforfatter Meng Chen, en doktorgradskandidat ved Zhejiang University, til IEEE Spectrum.futurism

Forskerne testet AudioHijack mot 13 åpne lyd-AI-modeller, inkludert Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal og Kimi-Audio, og oppnådde suksessrater mellom 79 og 96 prosent. De demonstrerte også at angrep designet for åpen kildekode-modeller ble effektivt overført til kommersielle stemmesystemer fra Microsoft ↘ 0.99% Azure og Mistral AI, siden mange kommersielle produkter er bygget på åpen kildekode-fundamenter.welcome+2

Begrenset forsvar

Kanskje mest bekymringsfullt er det at eksisterende forsvar viste seg å være stort sett ineffektive. Prompt-herding og teknikker for intensjonsverifisering reduserte angrepssuksessen med bare omtrent 7 prosent, ifølge funnene. Forskerne bemerket at modeller sliter med å skille mellom legitim brukerintensjon og fiendtlige instruksjoner bygget inn i lyden.welcome+1

Sårbarheten skiller seg fra tidligere forskning på uhørlige kommandoer som rettet seg mot enkel talegjenkjenning. AudioHijack utnytter de dypere resonneringslagene i store lyd-språkmodeller – systemer som nå er i stand til ikke bare å transkribere tale, men å utføre handlinger som å surfe på nettet, få tilgang til filer og sende meldinger på vegne av brukere.windowsforum

Implikasjoner for hverdagsbrukere

Forskningen kommer samtidig som selskaper kappes om å distribuere stemme-AI-agenter med økende autonomi. Microsoft skal ha fortalt IEEE Spectrum at distribusjoner i den virkelige verden vanligvis inkluderer ytterligere sikkerhetstiltak utover grunnmodellen. Men sikkerhetseksperter advarer om at gapet mellom en stemmeassistent som oppsummerer et opptak og en som kan handle i bedriftssystemer, representerer en fundamental endring i risikoprofilen.windowsforum

«Disse enkeltpunkt-forsvarene sliter med å motstå angrepet vårt fordi vi fant ut at det er veldig vanskelig for disse modellene å skille mellom normal brukerintensjon og vårt fiendtlige angrep,» sa Chen.futurism

Funnene tyder på at etter hvert som stemme-AI-systemer får evnen til å utføre handlinger – søke i filer, skrive e-poster, endre kalendere – blir selve lydkanalen en angrepsflate som nåværende sikkerhetsarkitekturer ikke er designet for å forsvare.