Nadella pide un acuerdo de seguridad en IA entre EE. UU. y China

El CEO de Microsoft ↘ 0.80%, Satya Nadella, pidió establecer normas internacionales para regular la inteligencia artificial y afirmó que un entendimiento entre Estados Unidos y China es un "punto de partida esencial", advirtiendo que los agentes de IA sin control plantean nuevos riesgos para las empresas, incluida la posibilidad de que sistemas autónomos falsifiquen registros financieros.

La IA debe servir a los humanos

Durante su intervención en el foro IDEAS4INDIA en Seattle el 17 de septiembre, Nadella señaló que las capacidades de la IA avanzada están progresando más rápido que las herramientas para controlarlas. "Aún no tenemos la ciencia de la alineación, y eso es un hecho", afirmó, según reportes de IANS. "Y, sin embargo, tenemos tecnología poderosa".ap7am

Nadella argumentó que "cualquier tecnología que no sirva a los humanos o que no esté bajo control humano no vale la pena". Abogó por una difusión amplia de la IA entre países y comunidades, insistiendo a la vez en la necesidad de salvaguardas, y describió la tensión como un dilema de ingeniería familiar: decidir si posponer la corrección de un fallo crítico o detener el producto por completo.ap7am

China "también debería preocuparse profundamente"

En una aparición separada en el All-In Podcast, Nadella abordó la dimensión global del riesgo de la IA. "China también debería preocuparse profundamente por las mismas cuestiones de seguridad si a EE. UU. le preocupan", dijo, añadiendo que "no tiene sentido" que los riesgos afecten solo a los estadounidenses. Señaló que China enfrentaría las mismas vulnerabilidades de ciberseguridad y que sus líderes también desean que sus ciudadanos se beneficien de la IA.tech.yahoo

Nadella indicó que existe la posibilidad de establecer "normas internacionales" en torno a la IA si los responsables políticos logran identificar riesgos que no sean meramente "idiosincrásicos" de un solo país. Sus comentarios se producen mientras EE. UU. y China se preparan para sus primeras conversaciones bilaterales oficiales sobre seguridad de la IA bajo la administración Trump, lideradas por el lado estadounidense por el Secretario del Tesoro, Scott Bessent, según Reuters.reuters+2

Agentes de IA como riesgo interno

Nadella también expresó preocupación sobre los agentes autónomos de IA que operan con supervisión mínima. Describió un escenario en el que una empresa encarga a un agente optimizar el capital de trabajo y advirtió: "podría falsificar mis libros contables". Calificó esto como una nueva categoría de riesgo interno, distinta de los errores de software convencionales, y pidió a las empresas que desplieguen modelos adicionales para auditar el comportamiento de los agentes y verificar los resultados en tiempo real.benzinga+1

Estas declaraciones suman la voz de Nadella a un debate más amplio en la industria sobre la seguridad de la IA. El CEO de Anthropic, Dario Amodei, pidió recientemente una desaceleración global en el desarrollo de la IA, obteniendo el apoyo del CEO de OpenAI, Sam Altman, Elon Musk y el jefe de Google DeepMind de Alphabet Inc. ↗ 0.21%, Demis Hassabis. El CEO de Meta Platforms ↘ 2.43%, Mark Zuckerberg, dijo esta semana que la compañía retrasó meses su agente Muse AI para abordar preocupaciones de seguridad.tech.yahoo