OpenAI, Anthropic y Microsoft firman el pacto de seguridad de IA en París

Seis gobiernos y diez empresas de IA, incluidas Anthropic, OpenAI y Microsoft, firmaron el lunes 9 de noviembre el Llamamiento de París para la Seguridad y Protección de la IA. La declaración los compromete a realizar evaluaciones compartidas de modelos de frontera, sistemas de alerta temprana de incidentes y una mayor rendición de cuentas para los desarrolladores, según el Palacio del Elíseo. Los países firmantes son Baréin, Canadá, Finlandia, Francia, Noruega y los Países Bajos. Las otras empresas firmantes son Black Forest Labs, Cohere, Domyn, Hugging Face, Mistral AI, Sakana AI y Synthesia. La declaración no es vinculante y permanece abierta a nuevas adhesiones, señala el texto.elysee.fr+1

Una reunión convocada por Macron

El presidente francés Emmanuel Macron reunió a unos 50 participantes por videoconferencia, entre ellos líderes mundiales, investigadores y directores de laboratorios de IA, informó dpa. Líderes del Reino Unido, Japón y Sierra Leona participaron en las conversaciones pero no figuran como firmantes. El secretario del Tesoro de EE. UU., Scott Bessent, y representantes de las Naciones Unidas y la OCDE también participaron, al igual que Sam Altman de OpenAI, Dario Amodei de Anthropic y el presidente de Microsoft, Brad Smith, informó Logistik Heute citando a dpa. Macron declaró que los participantes se comprometieron a evaluar los riesgos de los modelos más avanzados de forma independiente y pública, compartir advertencias sobre incidentes graves de manera más efectiva y exigir responsabilidades a los desarrolladores, según dpa. Grupos de la sociedad civil también firmaron, incluidos LawZero de Yoshua Bengio, SaferAI, AI Safety Connect y el grupo de expertos francés Ifri, indicó el Elíseo.dpa-international.com+2

Tres compromisos

El primer compromiso es un marco común para evaluar y gestionar los riesgos de los modelos de frontera. Se centra en el uso indebido peligroso en los ámbitos cibernético y QBRN (químico, biológico, radiológico y nuclear), así como en los riesgos derivados de la creciente autonomía, la falta de alineación y la pérdida de control. Los firmantes acordaron publicar los hallazgos no confidenciales de sus evaluaciones en un formato estandarizado en un repositorio público compartido, según la declaración.presidentti.fi

El segundo aborda la responsabilidad. Los desarrolladores se comprometen a revelar las capacidades, limitaciones y riesgos conocidos de los modelos, y a apoyar la evaluación por parte de evaluadores independientes cuando sea apropiado. También se comprometen a crear mecanismos de seguridad que puedan pausar o apagar los modelos bajo su control, incluso durante el entrenamiento y el uso interno. Los legisladores, por su parte, se comprometieron a aclarar quién es responsable cuando la IA causa daños a gran escala, incluidos los daños transfronterizos, dice el texto.presidentti.fi

El tercero exige sistemas de alerta rápida y un mejor intercambio de información sobre incidentes graves de ciberseguridad y control de IA. También compromete a los gobiernos a ofrecer canales seguros para denunciantes, según el Elíseo.elysee.fr

Un tenso contexto de seguridad

La declaración se produjo una semana después de un presunto ciberataque el 2 de noviembre que dejó fuera de servicio los sistemas de refrigeración de supermercados en 11 países europeos, informó Türkiye Today. El mismo informe señaló que la empresa de ciberseguridad Wiz calificó a octubre como el "Octubre Negro" después de que al menos nueve plataformas de desarrollo de IA revelaran incidentes de seguridad. Añadió que las autoridades no han determinado si los ataques estaban relacionados o si la IA desempeñó un papel en cada caso.turkiyetoday.com

El Elíseo afirmó que la carta pretende informar los debates legislativos nacionales y europeos, informó Pollar.pollar.news