Anthropic dévoile une méthode pour isoler les connaissances dangereuses dans les modèles d’IA

Anthropic et son partenaire de recherche AE Studio ont publié mercredi une méthode permettant d'isoler les connaissances dangereuses au sein des modèles d'IA dans des modules discrets et amovibles — une approche qui pourrait remodeler la manière dont l'industrie gère les risques à double usage sans sacrifier les performances générales du modèle.

La technique, appelée Gradient-Routed Auxiliary Modules (GRAM), ajoute de petits compartiments neuronaux auxiliaires à un modèle de langage pendant l'entraînement, chaque compartiment étant dédié à une catégorie de connaissances sensibles telle que la virologie, la cybersécurité ou la physique nucléaire. Lorsqu'un module est supprimé, le modèle se comporte comme s'il n'avait jamais été entraîné sur ces données. Lorsqu'un module est activé, les connaissances sont entièrement disponibles.x+1

Comment fonctionne GRAM

GRAM modifie l'architecture standard des transformeurs en étendant la largeur de chaque couche MLP avec de petits modules auxiliaires — un par domaine sensible. Pendant l'entraînement, lorsque le modèle rencontre des données provenant d'une catégorie à double usage, seul le module correspondant participe à l'apprentissage aux côtés des poids à usage général du modèle. Au moment de l'inférence, la suppression d'un module supprime la capacité associée.alignment.anthropic

Les chercheurs ont testé GRAM sur des modèles allant de 50 millions à 5 milliards de paramètres, en entraînant un modèle de 800 millions de paramètres sur du texte web, du code et des articles scientifiques, parallèlement à quatre domaines à double usage : virologie, cybersécurité, physique nucléaire et code spécialisé. Les données à double usage représentaient environ 0,25 % des données d'entraînement par domaine.alignment.anthropic

Les résultats ont montré que l'ablation des modules GRAM supprimait les capacités « presque aussi efficacement que si le modèle n'avait jamais été entraîné sur ces données », selon le billet de blog de recherche, tandis que les performances générales restaient proches de la référence de base. L'approche s'est également révélée robuste contre le réglage fin contradictoire — contrairement aux méthodes de désapprentissage post-hoc, qui, selon les chercheurs, suppriment simplement les connaissances au lieu de les supprimer réellement.alignment.anthropic

Contexte politique

La recherche arrive à un moment tendu pour la gouvernance de l'IA. En juin, l'administration Trump a temporairement imposé des contrôles à l'exportation sur les modèles Claude les plus avancés d'Anthropic, Fable 5 et Mythos 5, invoquant des préoccupations de sécurité nationale liées à une éventuelle vulnérabilité de type jailbreak. Ces restrictions ont été levées le 30 juin après qu'Anthropic a travaillé avec le ministère du Commerce pour traiter les risques.arstechnica+2

GRAM offre un terrain d'entente potentiel dans le débat politique : plutôt que de restreindre des modèles entiers ou de s'appuyer sur des garde-fous comportementaux qui peuvent être contournés, il permet un contrôle d'accès granulaire par capacité. Un laboratoire de biosécurité agréé pourrait recevoir un modèle avec les connaissances en virologie intactes, tandis qu'un déploiement général verrait ce module entièrement supprimé.alignment.anthropic

Questions en suspens

Les chercheurs ont averti que ces travaux sont « préliminaires et n'ont pas été appliqués à des modèles de production chez Anthropic ». Des incertitudes clés subsistent quant à savoir si la technique peut être mise à l'échelle pour des modèles de pointe et si des capacités enchevêtrées — où les connaissances générales en biologie chevauchent les connaissances dangereuses en virologie — pourraient limiter une séparation nette. Les travaux ont été dirigés par des chercheurs d'AE Studio avec la collaboration de Cem Anil et Alex Cloud d'Anthropic.alignment.anthropic