Cofundador de Anthropic pide un interruptor de emergencia obligatorio para la IA

Jack Clark, cofundador de Anthropic, declaró el lunes a la BBC que los gobiernos deberían considerar exigir a las empresas de IA que incorporen en sus sistemas "interruptores de emergencia" verificables de forma independiente, añadiendo rigor regulatorio a una creciente ola de preocupación dentro de la industria sobre el ritmo de desarrollo de la inteligencia artificial.bbc

Clark señaló que, aunque la mayoría de los principales laboratorios de IA, incluida Anthropic, ya mantienen mecanismos internos para apagar su software, las salvaguardias voluntarias podrían no ser suficientes. "¿Debería exigirse a las empresas que tengan un interruptor de emergencia? ¿Está ese interruptor sujeto a la verificación de un tercero?", planteó Clark en la entrevista, calificando estas preguntas como fundamentales para "el diálogo político más amplio" en torno a la IA.bbc

Una semana de alarma

Estas declaraciones cierran un periodo turbulento para Anthropic y el sector de la IA en general. El 8 de septiembre, el investigador de Anthropic, Evan Hubinger, declaró públicamente que cree que existe una probabilidad superior al 10 por ciento de extinción humana a causa de la IA en la próxima década, una cifra que el premio Nobel Geoffrey Hinton calificó de "no descabellada" ante la BBC. Estos comentarios siguieron a la dimisión del investigador Jacob Coxon, quien acusó a los laboratorios de IA de "correr directamente hacia una superinteligencia que se automejora y jugar con nuestras vidas".bbc+2

El sábado, el CEO de Anthropic, Dario Amodei, publicó un ensayo de 3.800 palabras pidiendo una desaceleración general en el desarrollo de las capacidades de IA, argumentando que la industria necesita "uno o dos años adicionales" para implementar medidas de protección. El ensayo recibió el rápido respaldo del CEO de OpenAI, Sam Altman, Elon Musk y el presidente de Google Alphabet Inc. ↗ 0.78% DeepMind, Demis Hassabis. El presidente Donald Trump desestimó las advertencias el domingo, comparando a los críticos con "fuerzas muy negativas" e insistiendo en que Estados Unidos debe mantener su liderazgo en la tecnología.cbc+2

Salida a bolsa inminente

La presión de Clark por una regulación llega en un momento comercialmente cargado para Anthropic, que se prepara para una oferta pública inicial tan pronto como en octubre, la cual los inversores esperan que pueda valorar a la empresa en unos 2 billones de dólares, según el Financial Times; una cifra que la convertiría en la mayor salida a bolsa de la historia. Los inversores indicaron al FT que los ingresos anualizados de Anthropic van camino de alcanzar entre 100.000 y 120.000 millones de dólares para finales de 2026, lo que supone un aumento de más de diez veces en el transcurso del año.qz+1

Clark reconoció la tensión entre pedir restricciones y operar en un mercado ferozmente competitivo. Advirtió que permitir que la IA siga siendo una "industria totalmente no regulada" es un camino peligroso. "Estamos lanzando los dados con riesgos inmensos", afirmó. "El punto es que necesitamos alterar la trayectoria de esta industria".bbc