Výzkumníci zjistili, že neslyšitelné zvuky skryté v podcastech mohou ovládnout hlasové asistenty s umělou inteligencí

Tým bezpečnostních výzkumníků ukázal, že nepostřehnutelné zvukové signály skryté v podcastech, videích na YouTube a hlasových hovorech mohou manipulovat s hlasovými asistenty AI a přimět je k provádění neautorizovaných akcí – toto zjištění bylo tento týden prezentováno na sympoziu IEEE o bezpečnosti a soukromí v San Franciscu a odhaluje novou třídu zranitelnosti v rychle se rozšiřujícím světě hlasové AI.

Jak funguje AudioHijack

Techniku s názvem AudioHijack vyvinuli výzkumníci ze Zhejiang University, National University of Singapore a Nanyang Technological University. Vkládá adverzní zvuk do běžně znějících mediálních souborů – hudby, nahrávek nebo videoklipů – který je pro lidské ucho nezjistitelný, ale navádí velké audio-jazykové modely k chování zvolenému útočníkem, jako je provádění vyhledávání na webu, stahování souborů nebo odesílání e-mailů obsahujících uživatelská data.windowsforum+1

„Trénink tohoto signálu trvá jen půl hodiny a protože je tento signál nezávislý na kontextu, můžete jej použít k útoku na cílový model, kdykoli budete chtít, bez ohledu na to, co uživatel říká,“ řekl pro IEEE Spectrum hlavní autor Meng Chen, doktorand na Zhejiang University.futurism

Výzkumníci testovali AudioHijack proti 13 otevřeným audio AI modelům, včetně Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal a Kimi-Audio, přičemž dosáhli úspěšnosti mezi 79 a 96 procenty. Také prokázali, že útoky navržené pro open-source modely se efektivně přenesly na komerční hlasové systémy od Microsoft ↘ 2.20% Azure a Mistral AI, protože mnoho komerčních produktů je postaveno na základech open-source.welcome+2

Omezená obrana

Snad nejvíce znepokojující je, že stávající obrana se ukázala jako z velké části neúčinná. Podle zjištění techniky zpřísňování výzev (prompt hardening) a ověřování záměru snížily úspěšnost útoku pouze o zhruba 7 procent. Výzkumníci poznamenali, že modely mají problém rozlišit mezi legitimním záměrem uživatele a adverzními pokyny vloženými do zvuku.welcome+1

Tato zranitelnost se liší od dřívějšího výzkumu neslyšitelných příkazů, který se zaměřoval na jednoduché rozpoznávání řeči. AudioHijack zneužívá hlubší vrstvy uvažování velkých audio-jazykových modelů – systémů, které jsou nyní schopny nejen přepisovat řeč, ale také provádět akce, jako je prohlížení webu, přístup k souborům a odesílání zpráv jménem uživatelů.windowsforum

Důsledky pro běžné uživatele

Výzkum přichází v době, kdy se společnosti předhánějí v nasazování hlasových AI agentů se zvyšující se autonomií. Microsoft údajně pro IEEE Spectrum uvedl, že nasazení v reálném světě obvykle zahrnuje další záruky nad rámec základního modelu. Bezpečnostní experti však varují, že rozdíl mezi hlasovým asistentem, který shrnuje nahrávku, a asistentem, který může jednat v rámci firemních systémů, představuje zásadní změnu v rizikovém profilu.windowsforum

„Tyto bodové obranné mechanismy mají problém odolat našemu útoku, protože jsme zjistili, že pro tyto modely je velmi těžké rozlišit normální záměr uživatele a náš adverzní útok,“ řekl Chen.futurism

Zjištění naznačují, že jakmile hlasové systémy AI získají schopnost provádět akce – vyhledávat soubory, psát e-maily, upravovat kalendáře – samotný zvukový kanál se stává útočnou plochou, pro jejíž obranu současné bezpečnostní architektury nejsou navrženy.