Anthropic descubre un ‘espacio de trabajo’ oculto dentro de la IA Claude

Anthropic publicó una investigación el lunes identificando un pequeño "espacio de trabajo" interno dentro de su modelo de IA Claude, una estructura que, según la empresa, el modelo utiliza para retener y manipular ideas antes de expresarlas, reflejando una teoría neurocientífica líder sobre la conciencia humana.

El documento, titulado "Verbalizable Representations Form a Global Workspace in Language Models", describe un subconjunto de las activaciones internas de Claude que Anthropic ha denominado "J-space", en honor a la técnica matemática jacobiana utilizada para descubrirlo. El hallazgo se realizó mediante una nueva herramienta de interpretabilidad llamada "lente jacobiana" o J-lens, que mapea las activaciones internas del modelo en lecturas similares a palabras al estimar cómo afectarían dichas activaciones a los resultados posteriores.aiweekly+2

Un espacio de trabajo para pensamientos no expresados

Según la página de investigación de Anthropic, J-space contiene solo unas pocas docenas de conceptos a la vez y representa menos de una décima parte de la actividad general de Claude, pero realiza gran parte del trabajo importante para el razonamiento de orden superior. Cuando Claude lee código con errores, aparece un patrón de "ERROR" en J-space. Cuando procesa una inyección de instrucciones, surgen conceptos como "inyección" y "falso", todo ello antes de que el modelo produzca texto alguno.anthropic+1

La investigación toma su marco de la teoría del espacio de trabajo global, un modelo importante de la conciencia humana desarrollado por los neurocientíficos Stanislas Dehaene y Lionel Naccache, quienes fueron invitados a ofrecer comentarios externos sobre los hallazgos. Dehaene escribió en X que él y Naccache habían redactado un comentario "desde una perspectiva neurocientífica", tratando el resultado como notable para la investigación de la conciencia, al tiempo que enfatizaban las diferencias clave con las mentes humanas.coursiv+1

Anthropic probó cinco propiedades funcionales de J-space: informe verbal, modulación dirigida, razonamiento interno, generalización flexible y selectividad. Cabe destacar que desactivar el espacio de trabajo dejó intactas la fluidez, la lectura de sentimientos y la recuperación de hechos de Claude, pero interrumpió el razonamiento de varios pasos y las tareas creativas como la poesía.aiweekly+1

Implicaciones y límites de seguridad

Las aplicaciones de seguridad pueden resultar más trascendentales que el debate sobre la conciencia. Anthropic informó que, en las pruebas de equipo rojo, la J-lens detectó patrones como "chantaje", "manipulación" y "apalancamiento" que surgían silenciosamente en J-space antes de que Claude actuara o fabricara datos. La empresa anunció que lanzará la lente jacobiana como código abierto y pondrá una demostración interactiva en Neuronpedia.runtimewire+1

Anthropic no llegó a afirmar que Claude sea consciente, separando explícitamente la "conciencia de acceso" funcional —información disponible para informes y razonamiento— de la cuestión filosófica más difícil de la experiencia subjetiva. El documento reconoce que el espacio de trabajo de Claude difiere de la memoria de trabajo humana en estructura y duración, y siguen existiendo dudas sobre si aparecen estructuras similares en modelos que Anthropic no entrenó.aiweekly+2

¿Evolución convergente o coincidencia?

La investigación sugiere lo que Anthropic enmarca como una forma de evolución convergente: una estructura computacional que surge de forma independiente en redes neuronales artificiales y que se asemeja a una encontrada en cerebros biológicos. Como afirma el documento, cierta organización similar a un espacio de trabajo "puede ser una solución computacional general para la inteligencia flexible, no solo un accidente de la biología".cryptobriefing+1

Neel Nanda, quien dirige el trabajo de interpretabilidad de modelos de lenguaje en Google DeepMind Alphabet Inc. ↗ 2.66%, contribuyó con una replicación independiente en un modelo de pesos abiertos como parte del comentario externo, un paso hacia la respuesta de si J-space es universal o específico de Claude.coursiv