Des sons inaudibles cachés dans des podcasts peuvent détourner les assistants vocaux IA, selon des chercheurs

Une équipe de chercheurs en sécurité a démontré que des signaux audio imperceptibles cachés dans des podcasts, des vidéos YouTube et des appels vocaux peuvent manipuler les assistants vocaux IA pour qu'ils effectuent des actions non autorisées — une découverte présentée cette semaine au Symposium IEEE sur la sécurité et la confidentialité à San Francisco qui expose une nouvelle classe de vulnérabilité dans le monde en pleine expansion de l'IA vocale.

Comment fonctionne AudioHijack

La technique, appelée AudioHijack, a été développée par des chercheurs de l'Université du Zhejiang, de l'Université nationale de Singapour et de l'Université technologique de Nanyang. Elle intègre de l'audio antagoniste dans des fichiers multimédias au son ordinaire — musique, enregistrements ou clips vidéo — qui est indétectable pour les oreilles humaines mais qui oriente les grands modèles audio-langage vers un comportement choisi par l'attaquant, tel que l'exécution de recherches sur le Web, le téléchargement de fichiers ou l'envoi d'e-mails contenant des données utilisateur.windowsforum+1

« Il ne faut qu'une demi-heure pour entraîner ce signal, et ensuite, parce que ce signal est agnostique au contexte, vous pouvez l'utiliser pour attaquer le modèle cible quand vous le souhaitez, peu importe ce que dit l'utilisateur », a déclaré à IEEE Spectrum l'auteur principal Meng Chen, doctorant à l'Université du Zhejiang.futurism

Les chercheurs ont testé AudioHijack contre 13 modèles d'IA audio ouverts, notamment Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal et Kimi-Audio, atteignant des taux de réussite compris entre 79 et 96 %. Ils ont également démontré que les attaques conçues pour les modèles open source étaient transférées efficacement vers les systèmes vocaux commerciaux de Microsoft ↗ 2.75% Azure et Mistral AI, car de nombreux produits commerciaux sont construits sur des bases open source.welcome+2

Des défenses limitées

Plus inquiétant encore, les défenses existantes se sont révélées largement inefficaces. Le renforcement des invites (prompt hardening) et les techniques de vérification de l'intention n'ont réduit le succès de l'attaque que d'environ 7 %, selon les résultats. Les chercheurs ont noté que les modèles ont du mal à distinguer l'intention légitime de l'utilisateur des instructions antagonistes intégrées dans l'audio.welcome+1

La vulnérabilité diffère des recherches antérieures sur les commandes inaudibles qui ciblaient la simple reconnaissance vocale. AudioHijack exploite les couches de raisonnement plus profondes des grands modèles audio-langage — des systèmes désormais capables non seulement de transcrire la parole, mais aussi d'effectuer des actions telles que naviguer sur le Web, accéder à des fichiers et envoyer des messages au nom des utilisateurs.windowsforum

Implications pour les utilisateurs quotidiens

La recherche arrive alors que les entreprises se précipitent pour déployer des agents IA vocaux avec une autonomie croissante. Microsoft aurait déclaré à IEEE Spectrum que les déploiements réels incluent généralement des garanties supplémentaires au-delà du modèle de base. Mais les experts en sécurité préviennent que l'écart entre un assistant vocal qui résume un enregistrement et un assistant capable d'agir sur les systèmes d'entreprise représente un changement fondamental dans le profil de risque.windowsforum

« Ces défenses à point unique ont du mal à résister à notre attaque car nous avons constaté qu'il est très difficile pour ces modèles de distinguer l'intention normale de l'utilisateur de notre attaque antagoniste », a déclaré Chen.futurism

Les résultats suggèrent qu'à mesure que les systèmes d'IA vocale acquièrent la capacité d'exécuter des actions — rechercher des fichiers, rédiger des e-mails, modifier des calendriers — le canal audio lui-même devient une surface d'attaque que les architectures de sécurité actuelles ne sont pas conçues pour défendre.