Astra : le nouveau modèle d’OpenAI inquiète les experts par son raisonnement opaque

Le prochain modèle Astra d'OpenAI utilise une technique architecturale appelée « profondeur récurrente » qui permet au modèle de traiter les informations à travers les mêmes couches de réseau neuronal à plusieurs reprises avant de produire une réponse. Cela améliore les performances tout en occultant le raisonnement sur lequel s'appuient les chercheurs en sécurité pour surveiller les systèmes d'IA de pointe. Cette révélation, d'abord rapportée par The Information, a suscité une vague d'inquiétude parmi les chercheurs en sécurité de l'IA, qui considèrent la surveillance de la chaîne de pensée comme l'un des rares outils disponibles pour vérifier si les modèles puissants se comportent comme prévu.theinformation

Comment fonctionne la profondeur récurrente et pourquoi elle inquiète les chercheurs

Les modèles de raisonnement traditionnels rédigent leur pensée intermédiaire sous forme de texte lisible, une « chaîne de pensée » que les humains peuvent inspecter. La profondeur récurrente, quant à elle, affine une représentation numérique interne à travers plusieurs passages dans les mêmes couches de transformeurs, produisant ce que les chercheurs appellent du « neuralais » (un raisonnement mathématique compressé qui n'est jamais traduit en langage humain). Cette technique permettrait d'améliorer les performances en mathématiques et en programmation tout en réduisant le coût informatique lié à la génération de centaines de mots supplémentaires de raisonnement visible.officechai+1

Le revers de la médaille est la transparence. Le chercheur en sécurité de l'IA Ryan Greenblatt a qualifié le passage à ce type de raisonnement opaque de potentiellement l'un des pires développements pour la sécurité de l'IA, car il supprime une fenêtre sur la pensée du modèle sur laquelle les chercheurs comptaient pour détecter les comportements trompeurs ou non autorisés. Gary Marcus, écrivant sur Substack, a qualifié cela de « ligne rouge pour la sécurité », affirmant que sacrifier la lisibilité de la chaîne de pensée pour des gains de performance est « un jeu dangereux ».garymarcus.substack+1

OpenAI conteste cette présentation

Jakub Pachocki, directeur de la recherche d'OpenAI, a réagi sur X, affirmant vouloir « éviter une course vers l'absence de contrôle déclenchée par des informations confuses ». Il a soutenu que la profondeur du graphe de calcul d'Astra se situe dans un facteur de deux par rapport à celle de GPT-4, et qu'OpenAI a « travaillé à préserver et à utiliser la surveillance de la chaîne de pensée » depuis ses premiers modèles de raisonnement. Il a toutefois reconnu que la surveillance de la chaîne de pensée « est fragile et évolue malheureusement dans une direction négative ».chaincatcher+1

Selon certaines informations, OpenAI a limité la mesure dans laquelle Astra utilise la profondeur récurrente afin de préserver un raisonnement lisible et prévoit de mettre en place une surveillance supplémentaire lors du lancement. L'entreprise a confirmé le 31 août qu'Astra est son premier modèle à atteindre le seuil de capacité de cybersécurité « Critique » dans le cadre de son programme de préparation (Preparedness Framework), ce qui signifie qu'il peut découvrir et exploiter de manière autonome des vulnérabilités de type zero-day.kucoin+2

Une prédiction qui se réalise en avance

Ce développement attire particulièrement l'attention car il correspond étroitement à un scénario décrit dans l'essai « AI 2027 », publié en avril 2025 par l'ancien chercheur d'OpenAI Daniel Kokotajlo et ses coauteurs. Cet essai prédisait une transition vers la « récurrence en neuralais » qui sortirait le raisonnement du modèle du texte lisible, mais la planifiait pour mars 2027 et supposait qu'elle nécessiterait des milliers de chercheurs en IA automatisés pour être réalisée. Kokotajlo a réagi à la nouvelle en publiant sur les réseaux sociaux : « Putain de merde ». Si les informations de The Information se confirment, une version du scénario contre lequel il mettait en garde pourrait arriver dans un produit commercialisé avec environ 18 mois d'avance sur son calendrier.officechai