Líder de alineación de Anthropic advierte que la IA tiene más de un 10% de probabilidad de extinguir a la humanidad

Evan Hubinger, quien dirige la ciencia de alineación en Anthropic, publicó en X el martes que cree personalmente que existe una probabilidad superior al 10% de que la IA "pueda matar a todos los humanos" en la próxima década, una declaración que ha generado más de 10 millones de visitas y ha sacudido los comentarios financieros sobre la esperada salida a bolsa de la empresa.bbc+2

"Jacob tiene razón aquí: ¡realmente creemos que la IA podría matar a todos los humanos! Personalmente creo que es >10% en la próxima década", escribió Hubinger. "Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan para resolver la alineación de la superinteligencia y claramente no estamos en camino de lograrlo".x

Una renuncia desencadena una reacción en cadena

El mensaje de Hubinger surgió en respuesta a Jacob Coxon, un investigador de IA que anunció en X que renunciaba a Anthropic tras pasar tres años tanto en Anthropic como en OpenAI. Coxon acusó a ambas empresas de "correr directamente hacia una superinteligencia que se automejora y jugar con nuestras vidas".nypost+1

"Las personas que construyen la IA creen sinceramente que podría matarnos a todos antes de que termine la década. Esto no es un truco publicitario", escribió Coxon, añadiendo que los ejecutivos y los investigadores senior expresan en privado temores que suavizan en sus declaraciones públicas.saudigazette+1

Un tercer empleado de Anthropic, el líder de supervisión escalable Samuel Marks, añadió su propia evaluación en el mismo hilo, escribiendo que "en general, cuanto más alto es el cargo del empleado, más preocupado está".breitbart

Cramer pasa del entusiasmo a la duda

Las revelaciones crearon una escena inusual en CNBC. En el programa Mad Money del martes por la noche, Jim Cramer dijo a los espectadores que Anthropic "podría ser una salida a bolsa gigantesca y los inversores venderán todo tipo de acciones para recaudar dinero y participar". El miércoles por la mañana en Squawk on the Street, comparaba la estimación de Hubinger con las probabilidades de mortalidad quirúrgica. "Si alguna vez has estado en una situación en la que quieres una cirugía y la cirugía tiene más de un 5% de probabilidad de fatalidad, no lo haces… 10% es el doble de 5%", dijo Cramer, añadiendo que estaba "muy sorprendido de que este hombre siga trabajando" en Anthropic.tech-insider+1

Anthropic no ha presentado un formulario S-1 ante la SEC y sigue siendo una empresa privada, aunque el Financial Times News Corp ↘ 0.78% ha informado que los accionistas esperan que la empresa cotice eventualmente por más de 2 billones de dólares. La empresa había recaudado anteriormente una ronda Serie H que la valoraba en 965 mil millones de dólares.247wallst+1

Un patrón de advertencias

La estimación de Hubinger se sitúa dentro de un rango ya establecido por otras figuras prominentes de la IA. El CEO de Anthropic, Dario Amodei, ha citado anteriormente una probabilidad de aproximadamente el 25% de resultados catastróficos, mientras que Geoffrey Hinton ha estimado un rango del 10% al 20%, según Axios. Pero la revelación de Hubinger tiene un peso distinto como declaración oficial de un empleado cuyo trabajo es resolver el problema que, según él, sigue sin solución, llegando en medio de una creciente especulación sobre su salida a bolsa.tech-insider

El episodio también sigue a un informe del Financial Times que indica que Anthropic retuvo su modelo más reciente del Instituto de Seguridad de IA del Reino Unido. Neil Lawrence, profesor de aprendizaje automático en la Universidad de Cambridge, dijo a la BBC que el informe era creíble, citando un contexto en el que Estados Unidos "ve claramente la IA como una carrera" contra China.bbc+1

Ni Anthropic ni OpenAI han mostrado señales de ralentizar el desarrollo. El científico jefe de OpenAI, Jakub Pachocki, pidió "extrema precaución" a principios de este mes, pero no llegó a anunciar una pausa. Una carta abierta firmada por 1.300 empleados de empresas de IA ha instado al gobierno de EE. UU. a ayudar a "marcar deliberadamente el ritmo de la frontera del desarrollo de la IA automatizada".saudigazette+1