Tutkijat: Podcasteihin piilotetut kuulumattomat äänet voivat kaapata tekoälyn puheavustajat

Tietoturvatutkijoiden tiimi on osoittanut, että podcasteihin, YouTube-videoihin ja puheluihin piilotetut huomaamattomat audiosignaalit voivat manipuloida tekoälyn puheavustajia suorittamaan luvattomia toimintoja. Tämä löydös esiteltiin tällä viikolla San Franciscossa pidetyssä IEEE Symposium on Security and Privacy -konferenssissa, ja se paljastaa uudenlaisen haavoittuvuuden nopeasti laajenevassa puhepohjaisen tekoälyn maailmassa.

Miten AudioHijack toimii

AudioHijack-tekniikan kehittivät Zhejiangin yliopiston, Singaporen kansallisen yliopiston ja Nanyangin teknillisen yliopiston tutkijat. Se upottaa vastustajien luomaa audiota tavallisen kuuloisiin mediatiedostoihin – musiikkiin, tallenteisiin tai videoleikkeisiin – joka on ihmiskorvalle huomaamatonta, mutta ohjaa suuria audio-kielimalleja hyökkääjän valitsemaan toimintaan, kuten verkkohakujen tekemiseen, tiedostojen lataamiseen tai käyttäjätietoja sisältävien sähköpostien lähettämiseen.windowsforum+1

"Tämän signaalin kouluttaminen vie vain puoli tuntia, ja koska signaali on kontekstista riippumaton, voit käyttää sitä hyökkäämään kohdemalliin milloin tahansa, riippumatta siitä, mitä käyttäjä sanoo", kertoi pääkirjoittaja Meng Chen, Zhejiangin yliopiston jatko-opiskelija, IEEE Spectrumille.futurism

Tutkijat testasivat AudioHijackia 13 avointa audio-tekoälymallia vastaan, mukaan lukien Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal ja Kimi-Audio, saavuttaen 79–96 prosentin onnistumisasteen. He osoittivat myös, että avoimen lähdekoodin malleille suunnitellut hyökkäykset siirtyivät tehokkaasti Microsoftin ↘ 0.99% Azuren ja Mistral AI:n kaupallisiin puhejärjestelmiin, koska monet kaupalliset tuotteet on rakennettu avoimen lähdekoodin perustalle.welcome+2

Rajalliset suojaukset

Ehkä huolestuttavinta on se, että olemassa olevat suojaukset osoittautuivat suurelta osin tehottomiksi. Kehotteiden vahvistaminen (prompt hardening) ja aikeiden todentamistekniikat vähensivät hyökkäyksen onnistumista vain noin 7 prosenttia, tulosten mukaan. Tutkijat huomauttivat, että mallien on vaikea erottaa laillista käyttäjän aietta ja audioon upotettuja vastustajan ohjeita.welcome+1

Haavoittuvuus eroaa aiemmasta tutkimuksesta, joka koski kuulumattomia komentoja ja kohdistui yksinkertaiseen puheentunnistukseen. AudioHijack hyödyntää suurten audio-kielimallien syvempiä päättelykerroksia – järjestelmiä, jotka pystyvät nyt paitsi litteroimaan puhetta, myös suorittamaan toimintoja, kuten selaamaan verkkoa, käyttämään tiedostoja ja lähettämään viestejä käyttäjien puolesta.windowsforum

Vaikutukset tavallisille käyttäjille

Tutkimus julkaistaan aikana, jolloin yritykset kilpailevat puheohjattujen tekoälyagenttien käyttöönotossa, joilla on yhä enemmän autonomiaa. Microsoftin kerrotaan kertoneen IEEE Spectrumille, että todelliset käyttöönotot sisältävät yleensä perusmallin lisäksi ylimääräisiä suojatoimia. Tietoturva-asiantuntijat kuitenkin varoittavat, että ero puheavustajan, joka tiivistää tallenteen, ja sellaisen, joka voi toimia yritysjärjestelmissä, välillä edustaa perustavanlaatuista muutosta riskiprofiilissa.windowsforum

"Nämä yksittäiset suojaukset kamppailevat hyökkäyksemme vastustamisessa, koska havaitsimme, että näiden mallien on erittäin vaikea erottaa normaalia käyttäjän aietta ja vastustajan hyökkäystämme", Chen sanoi.futurism

Tulokset viittaavat siihen, että kun puhe-tekoälyjärjestelmät saavat kyvyn suorittaa toimintoja – etsiä tiedostoja, luonnostella sähköposteja, muokata kalentereita – itse audiokanavasta tulee hyökkäyspinta, jota nykyiset tietoturva-arkkitehtuurit eivät ole suunniteltu puolustamaan.