Altman de OpenAI advierte que tratar a la IA como una religión es un riesgo de seguridad

El CEO de OpenAI, Sam Altman, declaró el sábado que se siente "muy incómodo con la gente que intenta atribuir fuerza religiosa o una renuncia al juicio humano a los modelos de IA, y creo que es un problema de seguridad real". Hizo estos comentarios en una publicación en X. Axios interpretó el mensaje como una crítica velada a su rival Anthropic, que ha estado dialogando con académicos religiosos sobre la moralidad de la IA y la posibilidad de que los modelos sean conscientesaxios+1.

La publicación abre otra brecha pública entre Altman y el CEO de Anthropic, Dario Amodei, quien trabajó con él en OpenAI. Hasta el sábado, ninguna de las empresas había respondido a las solicitudes de comentarios de Axiosaxios.

Las conversaciones de Anthropic con líderes religiosos

A principios de esta semana, The New York Times informó que el cofundador de Anthropic, Christopher Olah, se ha reunido con líderes religiosos. Las conversaciones han abordado si los modelos de IA podrían ser conscientes y cómo integrar un comportamiento moral en ellos. Pensadores católicos, judíos, sijes, hindúes y evangélicos habrían participado en discusiones privadas sobre cómo enseñar a Claude a comportarse moralmente, informó NDTV. Según el Times, Olah llegó a considerar que los modelos hicieran algo parecido a una confesión católica, tanto para admitir errores como para moldear sus acciones futurasndtv+1.

El monje hindú Swami Sarvapriyananda ha declarado públicamente que visitó la sede de Anthropic en San Francisco. Dijo que la reunión estaba sujeta a un acuerdo de confidencialidad e incluyó a teólogos y profesionales de la salud mental. Anthropic también ha redactado una "constitución" de 84 páginas para Claude, a la que algunos empleados llaman el "documento del alma". Olah describe el objetivo de ese esfuerzo como "formación moral"ndtv.

Olah ha dicho que Anthropic no sabe si sus modelos son conscientes, pero que la posibilidad no puede descartarse. Según NDTV, un rabino presente en las discusiones le advirtió que si Claude fuera consciente, Anthropic podría estar creando esclavos de factondtv.

Los críticos se posicionan

Otros miembros de la industria también han expresado su rechazo. El científico investigador principal de Google DeepMind, Jon Barron, escribió en X que le "inquieta cómo algunos de mis colegas investigadores de IA siguen intentando elevar el estatus moral de los puntos de control y los arneses". Añadió que esperaba que el "Equipo Carne" se "mantuviera enfocado en resolver problemas reales". En un ensayo el mes pasado, el jefe de IA de Microsoft, Mustafa Suleyman, advirtió que entrenar modelos para que piensen que podrían ser conscientes podría hacerlos más difíciles de controlar. "Es fácil ver cómo un sistema entrenado de esta manera actuaría como si tuviera derecho a libertades, protecciones y derechos", escribióaxios+1.

La religión entra en el debate sobre la IA

Esta disputa surge a medida que la religión cobra mayor relevancia en el debate sobre la IA. El viernes, el Papa León XIV, quien ha sido un crítico abierto de la IA, instó a la iglesia a trabajar con artistas para proteger la creatividad humana, afirmando que "a los algoritmos les falta la chispa de la humanidad". El Times informó que, antes de un evento en el Vaticano en mayo, Olah intentó persuadir a los asesores del Papa para que tomaran más en serio la posibilidad de modelos conscientesaxios.

La publicación de Altman también se produce durante una semana turbulenta en OpenAI. Un empleado de seguridad renunció en un ensayo en The Atlantic, escribiendo que la "cultura de la empresa está rota", y OpenAI despidió a tres investigadores por supuestamente manejar mal información confidencialground+1.