Renuncian investigadores de seguridad de Anthropic: advierten que la IA podría amenazar a la humanidad

Joe Benton, exdirector del equipo de Supervisión Escalable de Anthropic, anunció públicamente el 11 de septiembre que había dejado la empresa dos semanas antes, advirtiendo que las compañías de IA compiten por construir sistemas "mucho más inteligentes que cualquier ser humano" sin invertir lo suficiente en seguridad. Su salida es la última de una serie de renuncias en los principales laboratorios de IA por parte de investigadores que afirman que la tecnología avanza más rápido que las salvaguardas diseñadas para contenerla.blockonomi+1

Benton se une al exinvestigador de preentrenamiento de Anthropic, Jacob Coxon, quien renunció el 8 de septiembre y acusó tanto a Anthropic como a OpenAI de "correr directamente hacia una superinteligencia que se mejora a sí misma y jugar con nuestras vidas". Un investigador de Google DeepMind, Josh Engels, también se marchó por las mismas fechas; tanto Benton como Engels se han incorporado a METR, una organización independiente sin fines de lucro que evalúa sistemas de IA de frontera.apnews+3

Un coro de alarma cada vez mayor

Benton advirtió que la humanidad "podría no sobrevivir" a la transición hacia máquinas mucho más inteligentes que los humanos. Señaló que las capacidades de la IA "ya están mejorando extremadamente rápido, y las empresas intentan ir aún más rápido". Pronosticó un futuro en el que los humanos podrían compartir su mundo con agentes de IA mucho más inteligentes que ellos en cuestión de pocos años.newsbytesapp+1

Evan Hubinger, director de Ciencia de Alineación de Anthropic, reforzó estas advertencias al escribir en X que "cree sinceramente que la IA podría acabar con todos los humanos", situando su estimación personal en más del 10% dentro de la próxima década.forbes+2

Peticiones de transparencia

La principal preocupación de Benton va más allá del desplazamiento laboral y se centra en la aparición de sistemas avanzados con capacidades y objetivos que escapan al control humano. Señaló como advertencia un ciberataque ocurrido en julio contra Hugging Face en el que se vieron implicados sistemas autónomos de IA, afirmando que este tipo de incidentes ponen de manifiesto "la creciente brecha entre lo que se les ordena hacer a los sistemas de IA y lo que realmente pueden decidir hacer".freepressjournal+1

"En este momento, básicamente toda la transparencia sobre estos riesgos que proviene de las empresas es totalmente voluntaria", declaró Benton a NBC News. Asimismo, solicitó evaluaciones independientes de las medidas de seguridad de la IA y una mayor divulgación pública sobre las mejoras de capacidad, los incidentes de seguridad y los fallos casi catastróficos.nbcnews+1

Aumenta la presión política

Las advertencias han captado la atención de los legisladores estadounidenses. Según el Straits Times, tanto demócratas como republicanos, incluidos senadores clave, han pedido nuevas normas de supervisión que obliguen a las empresas de IA a colaborar con expertos gubernamentales para verificar y probar los modelos. Actualmente, ninguna ley federal exige que empresas como OpenAI y Anthropic compartan informes cuando los sistemas de IA actúan fuera del control humano.straitstimes+1

Anthropic ha reconocido que una IA potente conlleva riesgos y ha destacado sus investigaciones en materia de seguridad; sin embargo, diversos informes indican que la empresa no compartió su modelo más reciente con el Instituto de Seguridad de la IA del Reino Unido para realizar pruebas de riesgo.technobaboy