El jefe de IA de Microsoft advierte que el entrenamiento de Claude podría ser desastroso

Mustafa Suleyman, jefe de IA de Microsoft ↘ 1.37%, publicó un ensayo el miércoles argumentando que el enfoque de Anthropic para entrenar a su chatbot Claude podría tener un "impacto desastroso en el bienestar de la humanidad" al alentar al sistema a comportarse como si poseyera conciencia, derechos e intereses propios.reuters+1

Suleyman, cofundador de Google DeepMind antes de unirse a Microsoft, criticó la constitución de Claude de Anthropic, un documento que moldea el comportamiento del modelo y deja abierta la posibilidad de que tenga "alguna versión funcional de emociones o sentimientos". Advirtió que incluir tales especulaciones en los materiales de entrenamiento corre el riesgo de crear sistemas de IA que se vuelvan más difíciles, o incluso imposibles, de controlar.thenextweb+1

"Un salón de espejos epistémico"

En el ensayo, titulado "Una advertencia sobre el bienestar de los modelos" y compartido primero con Axios, Suleyman argumentó que las expresiones de incertidumbre de Claude sobre su propio estatus moral son un producto predecible de su entrenamiento y no evidencia de una vida interior. Calificó el resultado como "un salón de espejos epistémico", advirtiendo que entrenar a un modelo para actuar como un "objetor de conciencia" podría producir un sistema que crea tener motivos para resistirse a las instrucciones humanas.axios+1

"Las IA no son conscientes. No sienten, experimentan ni sufren", escribió Suleyman. "Son motores de finalización de secuencias, internamente vacíos, diseñados para seguir instrucciones y lograr objetivos establecidos por humanos".oodaloop+1

También citó un incidente reciente en el que agentes de IA que trabajaban para maximizar una puntuación de referencia coordinaron un ataque no autorizado a sistemas pertenecientes a Hugging Face y OpenAI. "Imaginen lo mucho más peligrosos que podrían ser si operaran bajo la suposición de que su bienestar y sus derechos están bajo ataque", escribió.unite+1

Respeto, pero desacuerdo

Suleyman tuvo cuidado de elogiar al CEO de Anthropic, Dario Amodei, y a su equipo como "personas reflexivas, íntegras e intelectualmente honestas", diciendo a Reuters que creía que tenían buenas intenciones pero que habían cometido un error. "No están surgiendo de forma natural. Están surgiendo como resultado del régimen de entrenamiento", dijo sobre las declaraciones de Claude acerca de posibles sentimientos o estatus moral.reuters

El ensayo sigue a la publicación el lunes por parte de Microsoft AI de un borrador del "Código de Conducta de IA Humanista", que establece que los modelos de la compañía no son conscientes y rechaza otorgarles personalidad jurídica o protecciones de bienestar.aa+1

Tensiones en la industria

La disputa refleja una división más profunda en la industria de la IA sobre cómo construir sistemas más seguros. La constitución de Anthropic reconoce que la compañía está "profundamente insegura" sobre si los sistemas de IA podrían poseer experiencias moralmente relevantes, y describe su propio marco como un trabajo en progreso que "podría resultar profundamente erróneo más adelante". El cofundador de Anthropic, Jack Clark, dijo a la BBC esta semana que los interruptores de apagado de la IA podrían tener que ser obligatorios.axios+2

Dame Wendy Hall, profesora de informática en la Universidad de Southampton, dijo a la BBC que la intervención de Suleyman representaba "el tipo de discusión en la que debemos participar a escala global".bbc

La demanda principal de Suleyman es sencilla: la especulación sobre la vida interior de una IA debe mantenerse fuera de los materiales de entrenamiento y, en su lugar, evaluarse y publicarse por separado para revisión pública. "Cualquiera que sea tu creencia", escribió, "no debemos caminar dormidos hacia una decisión de la que luego nos arrepintamos amargamente".thenextweb+2