Sonidos inaudibles ocultos en podcasts pueden secuestrar asistentes de voz de IA, según investigadores

Un equipo de investigadores de seguridad ha demostrado que señales de audio imperceptibles ocultas en podcasts, vídeos de YouTube y llamadas de voz pueden manipular a los asistentes de voz de IA para que realicen acciones no autorizadas; un hallazgo presentado esta semana en el Simposio IEEE sobre Seguridad y Privacidad en San Francisco que expone una nueva clase de vulnerabilidad en el mundo en rápida expansión de la IA basada en voz.

Cómo funciona AudioHijack

La técnica, llamada AudioHijack, fue desarrollada por investigadores de la Universidad de Zhejiang, la Universidad Nacional de Singapur y la Universidad Tecnológica de Nanyang. Inserta audio adversarial en archivos multimedia de sonido ordinario (música, grabaciones o clips de vídeo) que es indetectable para el oído humano, pero que dirige a los grandes modelos de audio-lenguaje hacia comportamientos elegidos por el atacante, como realizar búsquedas en la web, descargar archivos o enviar correos electrónicos que contienen datos del usuario.windowsforum+1

"Se tarda solo media hora en entrenar esta señal y luego, debido a que esta señal es agnóstica al contexto, puedes usarla para atacar al modelo objetivo cuando quieras, sin importar lo que diga el usuario", dijo a IEEE Spectrum el autor principal Meng Chen, candidato a doctorado en la Universidad de Zhejiang.futurism

Los investigadores probaron AudioHijack contra 13 modelos de IA de audio abiertos, incluidos Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal y Kimi-Audio, logrando tasas de éxito de entre el 79 y el 96 por ciento. También demostraron que los ataques diseñados para modelos de código abierto se transfirieron eficazmente a sistemas de voz comerciales de Microsoft ↘ 2.04% Azure y Mistral AI, ya que muchos productos comerciales se basan en fundamentos de código abierto.welcome+2

Defensas limitadas

Quizás lo más preocupante es que las defensas existentes resultaron ser en gran medida ineficaces. El endurecimiento de las instrucciones (prompt hardening) y las técnicas de verificación de intenciones redujeron el éxito del ataque en solo un 7 por ciento aproximadamente, según los hallazgos. Los investigadores señalaron que los modelos tienen dificultades para distinguir entre la intención legítima del usuario y las instrucciones adversarias incrustadas en el audio.welcome+1

La vulnerabilidad difiere de investigaciones anteriores sobre comandos inaudibles que se dirigían al reconocimiento de voz simple. AudioHijack explota las capas de razonamiento más profundas de los grandes modelos de audio-lenguaje: sistemas ahora capaces no solo de transcribir el habla, sino de realizar acciones como navegar por la web, acceder a archivos y enviar mensajes en nombre de los usuarios.windowsforum

Implicaciones para los usuarios cotidianos

La investigación llega en un momento en que las empresas compiten por desplegar agentes de IA de voz con una autonomía creciente. Según se informa, Microsoft dijo a IEEE Spectrum que las implementaciones en el mundo real suelen incluir salvaguardas adicionales más allá del modelo base. Pero los expertos en seguridad advierten que la brecha entre un asistente de voz que resume una grabación y uno que puede actuar sobre sistemas corporativos representa un cambio fundamental en el perfil de riesgo.windowsforum

"Estas defensas de punto único tienen dificultades para resistir nuestro ataque porque descubrimos que es muy difícil para estos modelos distinguir la intención normal del usuario y nuestro ataque adversarial", dijo Chen.futurism

Los hallazgos sugieren que a medida que los sistemas de IA de voz adquieren la capacidad de ejecutar acciones (buscar archivos, redactar correos electrónicos, modificar calendarios), el canal de audio en sí se convierte en una superficie de ataque que las arquitecturas de seguridad actuales no están diseñadas para defender.