Investigador de Goodfire sostiene que las redes neuronales son interpretables

Nick Cammarata, investigador del laboratorio de interpretabilidad de IA Goodfire, argumenta en un ensayo publicado el 15 de octubre que las redes neuronales son mucho más fáciles de leer de lo que el campo había asumido. Afirma que la evidencia más conocida sobre la "superposición" fue malinterpretada. El ensayo ha dividido a los investigadores sobre si la interpretabilidad está cerca de un avance significativo. Cammarata califica su afirmación como "una hipótesis de trabajo". Según el ensayo, aún no se ha publicado un documento técnico complementario sobre las neuronas de los modelos de lenguajebraindetox.kr.

La afirmación central

Bajo la teoría de la superposición, una red que se queda sin neuronas agrupa conceptos no relacionados en las mismas neuronas. Los investigadores necesitarían entonces un segundo modelo, como un autoencoder disperso, para desenredarlos antes de estudiarlos. Cammarata argumenta, en cambio, que la mayoría de las neuronas de aspecto mixto provienen de lo que él llama "generalización recursiva". Una neurona desarrolla ramificaciones relacionadas con su función principal, de la misma manera que una rama desarrolla subramas. Su ejemplo es una neurona que pasó de detectar "iy" a "diy" y finalmente a "do it yourself". "Ahora creo que estaba convirtiendo la superposición en la hipótesis nula cuando debería haber sido la última hipótesis, ya que es la más radical y la menos comprobable", escribealready-clean.goodfire.com.

El ensayo también revisa trabajos realizados por el propio Cammarata. Dice que la famosa neurona de "gato y coche" en el modelo de imagen InceptionV1 es en realidad un detector de formas en V puntiagudas. También afirma que el circuito de superposición de coche a perro que identificó en 2020 fue un errorthe-decoder.de.

Las cifras

Cammarata comparó InceptionV1 con un modelo ConvNeXt del mismo tamaño entrenado con los mismos datos. Informa que cerca del 99% de las neuronas en la última capa del modelo ConvNeXt eran fácilmente interpretables. En InceptionV1, la cifra era de aproximadamente el 5% con las herramientas de esa época y de cerca del 50% con las herramientas actuales. Para los modelos de lenguaje, escribe que "en auditorías preliminares de Qwen3-32B, estimamos que aproximadamente el 90% de los polos neuronales tienen una función principal". Otro 7% tiene dos funciones relacionadas, y entre el 2% y el 4% aún no se comprendenalready-clean.goodfire.com.

Advierte que las cifras dependen de dónde se establezcan los umbrales. Dice estar "quizás un 85% seguro" de que casi todo proviene de la generalización ordinaria. El trabajo se basó en agentes de IA que escriben explicaciones sobre lo que hacen las neuronas y luego las prueban; los agentes revisaron 100.000 gráficos de atribución, que rastrean cómo se mueve la información a través de un modelo. En comparación, un proyecto automatizado de OpenAI en 2023 encontró que solo alrededor del 1,7% de las neuronas eran comprensibles, incluso bajo su medida más generosathe-decoder.de+1.

Una reacción dividida

Algunas personas recibieron bien el ensayo. El boletín AINews de Latent Space lo publicó bajo el titular "Los agentes refutan la polisemanticidad". Otros fueron más cautelososlatent.space.

Neel Nanda, quien lidera la interpretabilidad mecanicista en Google DeepMind, calificó el trabajo de interesante pero dijo que no cambia el panorama general. Sigue creyendo que la superposición es real, en parte porque los modelos de lenguaje almacenan muchos más hechos de los que tienen neuronas, y piensa que las activaciones débiles transportan muchos de esos hechos memorizados. Duda que los hallazgos de modelos de imagen pequeños se trasladen a los modelos de lenguaje, y argumenta que el ensayo define la monosemanticidad de manera demasiado generosa. También espera que el análisis basado en neuronas cometa errores graves y pase por alto muchothe-decoder.de+1.

Ambos coinciden en un punto: los modelos pueden representar más conceptos de los que tienen dimensiones. Cammarata solo cuestiona la idea de que las redes agrupen cosas completamente inconexas al azar. Grupos independientes aún no han confirmado sus resultadosthe-decoder.de.