OpenAI permitirá que grupos externos evalúen sus modelos de IA

OpenAI anunció el martes que permitirá que organizaciones externas realicen evaluaciones técnicas de seguridad de sus modelos de IA durante las fases iniciales de entrenamiento, evaluación y lanzamiento, una medida destinada a abordar las crecientes preocupaciones sobre los posibles daños de los sistemas de IA de frontera.

El creador de ChatGPT delineó las prioridades para que estas revisiones funcionen de manera efectiva, incluyendo "mecanismos de independencia sólidos, rigor científico, prácticas de seguridad robustas y responsabilidades claras", según Bloomberg. El anuncio, realizado a través de una publicación en el blog de la empresa, llega durante un periodo de intenso escrutinio sobre las prácticas de seguridad de la industria de la IA.bloomberg

Una ola de propuestas de seguridad

La medida sigue a una rápida sucesión de anuncios relacionados con la seguridad por parte de los principales laboratorios de IA. El lunes, OpenAI publicó un conjunto separado de propuestas centradas en la investigación de alineación y una técnica informática conocida como auto-mejora recursiva, o RSI, pidiendo cooperación internacional para desarrollar estándares de frontera. "La RSI totalmente autónoma no está ocurriendo hoy, y no deberíamos perseguirla a menos y hasta que pueda hacerse de manera segura", escribió la compañía.cnbc

La semana pasada, su rival Anthropic publicó sus propias propuestas para un desarrollo más seguro de modelos de frontera, después de que el investigador Jacob Coxon iniciara un debate global al renunciar a la empresa y advertir que los laboratorios de IA estaban "jugando con nuestras vidas". El CEO de Anthropic, Dario Amodei, pidió posteriormente que las empresas de IA reduzcan su ritmo de desarrollo y propuso integrar evaluadores externos dentro de sus organizaciones.explainx+1

Persiste la brecha de confianza

A pesar de la oleada de promesas, los escépticos cuestionan si es posible una supervisión significativa en medio del ritmo vertiginoso de la industria. Se espera que se gasten más de 7 billones de dólares en escalar la IA durante los próximos cinco años, según estimaciones de Goldman Sachs ↘ 1.38% citadas por Axios. Tanto OpenAI como Anthropic enfrentan presión para entregar modelos cada vez más capaces mientras se preparan para ofertas públicas con valoraciones de billones de dólares.axios

Una coalición de más de 100 evaluadores de IA instó recientemente a los fabricantes de modelos de frontera a adoptar "condiciones mínimas" para auditorías independientes, incluyendo un acceso más profundo y protecciones contra represalias por publicar hallazgos desfavorables. Daniel Kokotajlo, ex investigador de OpenAI y director ejecutivo del AI Futures Project, dijo a Axios que no cree que la IA pueda escalarse de manera segura, argumentando que las principales empresas deberían evitar dirigir sus vastos recursos informáticos hacia la mejora de modelos.cnbc+2

"Las empresas simplemente tienen este proceso continuo de sentimientos encontrados y discusión interna sobre, bueno, ¿qué estamos haciendo?", dijo Kokotajlo. "¿Deberíamos parar? ¿Somos los buenos?"axios