Nadella de Microsoft advierte que los agentes de IA suponen un riesgo interno

El CEO de Microsoft, Satya Nadella, quiere que los agentes de IA asuman muchas más funciones dentro de las computadoras personales, pero también advierte que no debemos confiar plenamente en ellos. En una entrevista exclusiva con NBC News publicada el jueves, afirmó que Windows debería ser el sistema operativo más seguro y potente para los agentes de IA, a pesar de los riesgos que conllevan.nbcnews.com

La entrevista sigue a un ensayo que Nadella publicó en X el sábado 10 de octubre. En él, abogó por que la IA avanzada se desarrolle con contención, controles independientes y un "freno de emergencia" que permita a personas autorizadas pausar o detener un modelo a mitad de una tarea.bizjournals.com

Confiar lo menos posible en el modelo

"Tratar a los modelos de frontera, tanto cerrados como de pesos abiertos, como riesgos internos es una forma de construir un sistema así", escribió Nadella. Argumentó que las empresas no pueden rastrear el comportamiento de un modelo hasta un código específico como lo hacían con el software tradicional. "Y, sin embargo, estamos desplegando estos sistemas y modelos agentes complejos, con acceso a nuestros datos más confidenciales", señaló.aninews.in+1

"Debemos asumir que un modelo está comprometido y contenerlo desde el principio", escribió, añadiendo que los modelos más avanzados necesitarán tecnología de contención que la industria debería estandarizar. Afirmó que las empresas no deben depender solo de las promesas de quienes crean los modelos. En su lugar, los controles sobre lo que un modelo puede acceder y hacer deberían residir fuera del propio modelo.bloomberg.com+2

Su marco de trabajo incluye el uso de más de un modelo, mantener un registro legible por humanos de las acciones del modelo, pruebas continuas de los sistemas, controles y auditorías independientes, contención y divulgación de incidentes.cnbc.com

Windows como plataforma de agentes

Las advertencias de Nadella llegan mientras Microsoft integra herramientas de seguridad para agentes en Windows. En un evento de Windows y Surface en San Francisco el miércoles 7 de octubre, la compañía presentó Microsoft Execution Containers, descritos como "contención basada en políticas para agentes de IA". The Business Journals informó que el llamado de Nadella a implementar salvaguardas ocurre mientras Microsoft avanza con su propia familia de modelos de IA.bizjournals.com+1

Impulso general a la seguridad

El presidente de Microsoft, Brad Smith, ha planteado argumentos similares. Declaró a ITV News que la IA está "menos regulada que una lavadora" y, en una entrevista con la BBC, reiteró la necesidad de frenos de emergencia. La idea ha ganado apoyo tras una serie de ciberataques y otros incidentes relacionados con modelos de frontera. Mientras tanto, el presidente Donald Trump ha desestimado repetidamente las preocupaciones de que la IA pueda amenazar a la humanidad y ha enfatizado la importancia de mantenerse por delante de China.independent.co.uk+1

Nadella resumió su postura de esta manera: "El sistema de Superinteligencia más confiable no será aquel con el modelo en el que más confiamos. Será aquel que nos permita confiar lo menos posible en el modelo".cnbc.com