D’anciens chercheurs de DeepMind lancent une ONG pour garder l’humain dans la boucle de sécurité de l’IA

Un groupe d'anciens chercheurs de Google Alphabet Inc. ↘ 0.47% DeepMind a lancé une organisation à but non lucratif appelée Sampura Research, dédiée à garantir que les humains restent au cœur de la supervision de systèmes d'IA de plus en plus puissants. L'organisation basée à Londres, officiellement annoncée le 24 août, vise à construire ce qu'elle appelle des "juges" plus solides : des systèmes hybrides humain-IA capables d'évaluer si les modèles se comportent de manière sûre et conforme aux attentes.bloomberg+2

Un contrepoint à l'IA supervisant l'IA

Sampura Research a été cofondée par Rishub Jain, Joshua Jacob et Alex Adams, qui ont tous travaillé auparavant chez Google DeepMind. Jain a passé sept ans au sein du laboratoire, dont deux années consacrées à la recherche sur la supervision évolutive et à des contributions à des projets tels qu'AlphaFold. Jacob a été co-responsable de l'ingénierie des données humaines chez DeepMind et a travaillé auparavant chez Waymo.EdTech Innovation Hub+4

L'organisation à but non lucratif se positionne comme un contrepoint à l'approche dominante de l'industrie consistant à utiliser l'IA pour superviser l'IA, une méthode qui offre de la rapidité mais qui, comme le soutient Jain, laisse encore des lacunes que le jugement humain peut aider à combler. Selon Bloomberg, Jain estime que les humains conservent un rôle essentiel dans la vérification du comportement des modèles, même à mesure que les systèmes d'IA deviennent plus performants.Bloomberg Law+1

Construire l'infrastructure de supervision

Le programme de recherche de Sampura se concentre sur le développement de jeux de données mesurant l'efficacité avec laquelle les humains et les systèmes d'IA peuvent vérifier les résultats des modèles, puis sur l'utilisation de ces références pour améliorer les méthodes de supervision. L'organisation définit un "juge" comme "un système humain, IA ou hybride qui évalue l'exactitude et l'alignement du comportement d'une IA dans une conversation ou une trajectoire d'agent".sampura+1

Les axes de travail prévus comprennent des jeux de données sur les risques futurs, des méthodes de répartition des sous-tâches entre les humains et l'IA, et une plateforme d'évaluation humaine en open source. L'équipe recrute au moins six chercheurs en IA expérimentés à Londres, avec des salaires allant de 100 000 à 290 000 livres sterling.EdTech Innovation Hub+1

Dans un contexte de prise de conscience générale sur la sécurité

Ce lancement intervient à une période de préoccupation accrue concernant la capacité de supervision de l'IA. Un rapport de Reuters a noté que les entreprises d'IA "ne peuvent pas encore contenir ce qu'elles ont construit", tandis que l'organisation à but non lucratif METR, qui évalue indépendamment les modèles de pointe pour OpenAI, Anthropic, Google et Meta ↘ 1.22%, a eu du mal à recruter suffisamment de personnel malgré des salaires supérieurs à 500 000 dollars. Fin juillet, plus de 1 100 praticiens de l'IA ont signé une lettre ouverte exhortant le gouvernement américain à soutenir un mécanisme international pour ralentir le développement de pointe lorsque cela est nécessaire.news.aibase.com+2

Le départ de Jain faisait partie d'un exode de talents plus large de DeepMind en juin 2026, au cours duquel le laboratoire a perdu cinq chercheurs clés en six jours.kucoin.com