Óheyranleg hljóð falin í hlaðvörpum geta rænt raddstýrðum gervigreindaraðstoðarmönnum, segja rannsakendur

Teymi öryggisrannsakenda hefur sýnt fram á að ómerkjanleg hljóðmerki falin í hlaðvörpum, YouTube-myndböndum og símtölum geta stýrt raddstýrðum gervigreindaraðstoðarmönnum til að framkvæma óheimilar aðgerðir — niðurstaða sem kynnt var í vikunni á IEEE ráðstefnunni um öryggi og friðhelgi einkalífs í San Francisco og afhjúpar nýjan flokk veikleika í ört stækkandi heimi raddstýrðrar gervigreindar.

Hvernig AudioHijack virkar

Tæknin, sem kallast AudioHijack, var þróuð af rannsakendum frá Zhejiang háskóla, Landsháskóla Singapúr og Tækniháskóla Nanyang. Hún felur andstæð hljóð í venjulegum fjölmiðlaskrám — tónlist, upptökum eða myndbrotum — sem er ómerkjanlegt fyrir mannseyrað en stýrir stórum hljóð- og tungumálalíkönum í átt að hegðun sem árásarmaðurinn velur, svo sem að framkvæma vefleit, hlaða niður skrám eða senda tölvupósta sem innihalda notendagögn.windowsforum+1

"Það tekur aðeins hálftíma að þjálfa þetta merki, og síðan, vegna þess að þetta merki er óháð samhengi, geturðu notað það til að ráðast á marklíkanið hvenær sem þú vilt, sama hvað notandinn segir," sagði aðalhöfundurinn Meng Chen, doktorsnemi við Zhejiang háskóla, við IEEE Spectrum.futurism

Rannsakendurnir prófuðu AudioHijack gegn 13 opnum hljóð-gervigreindarlíkönum, þar á meðal Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal og Kimi-Audio, og náðu árangri á bilinu 79 til 96 prósent. Þeir sýndu einnig fram á að árásir hannaðar fyrir opnar gerðir færðust á áhrifaríkan hátt yfir á viðskiptaleg raddkerfi frá Microsoft ↘ 2.20% Azure og Mistral AI, þar sem margar viðskiptavörur eru byggðar á opnum grunni.welcome+2

Takmarkaðar varnir

Kannski er það áhyggjuefnasta að núverandi varnir reyndust að mestu árangurslausar. Herðing á leiðbeiningum (prompt hardening) og tækni til að sannreyna ásetning minnkuðu árangur árásarinnar um aðeins um 7 prósent, samkvæmt niðurstöðunum. Rannsakendurnir bentu á að líkön eiga erfitt með að greina á milli lögmæts ásetnings notanda og andstæðra leiðbeininga sem felldar eru inn í hljóðið.welcome+1

Veikleikinn er frábrugðinn fyrri rannsóknum á óheyranlegum skipunum sem beindust að einfaldri talgreiningu. AudioHijack nýtir dýpri rökhugsunarlög stórra hljóð- og tungumálalíkana — kerfa sem nú geta ekki bara umritað tal, heldur framkvæmt aðgerðir eins og að vafra um netið, nálgast skrár og senda skilaboð fyrir hönd notenda.windowsforum

Áhrif á daglega notendur

Rannsóknin kemur á sama tíma og fyrirtæki keppast við að innleiða raddstýrða gervigreindaraðstoðarmenn með aukinni sjálfstjórn. Microsoft sagði að sögn við IEEE Spectrum að raunverulegar innleiðingar innihaldi venjulega viðbótarvarnir umfram grunnlíkanið. En öryggissérfræðingar vara við því að bilið á milli raddstýrðs aðstoðarmanns sem tekur saman upptöku og eins sem getur gripið til aðgerða í fyrirtækiskerfum tákni grundvallarbreytingu á áhættusniði.windowsforum

"Þessar einpunkta varnir eiga erfitt með að standast árás okkar vegna þess að við komumst að því að það er mjög erfitt fyrir þessi líkön að greina á milli eðlilegs ásetnings notanda og andstæðrar árásar okkar," sagði Chen.futurism

Niðurstöðurnar benda til þess að eftir því sem raddstýrð gervigreindarkerfi öðlast getu til að framkvæma aðgerðir — leita í skrám, semja tölvupósta, breyta dagatölum — verður hljóðrásin sjálf að árásarflötur sem núverandi öryggisarkitektúrar eru ekki hannaðir til að verja.