Microsoft: Nadella met en garde contre les risques internes des agents IA

Le PDG de Microsoft, Satya Nadella, souhaite que les agents IA prennent en charge davantage de tâches sur les ordinateurs personnels, tout en soulignant qu'il ne faut pas leur faire aveuglément confiance. Dans une interview exclusive accordée à NBC News et publiée jeudi, il a affirmé que Windows devait être le système d'exploitation le plus sûr et le plus performant pour les agents IA, tout en mettant en garde contre les risques qu'ils présentent.nbcnews.com

Cette interview fait suite à un essai publié par Nadella sur X le samedi 10 octobre. Il y préconise que l'IA avancée soit conçue avec des mécanismes de confinement, des contrôles indépendants et un "frein d'urgence" permettant aux personnes autorisées de suspendre ou d'arrêter un modèle en cours de tâche.bizjournals.com

Se méfier du modèle

"Traiter les modèles de pointe, qu'ils soient fermés ou à poids ouverts, comme des risques internes est une façon de construire un tel système", a écrit Nadella. Il a fait valoir que les entreprises ne peuvent pas retracer le comportement d'un modèle jusqu'à un code spécifique comme elles le faisaient avec les logiciels traditionnels. "Pourtant, nous déployons ces systèmes et modèles agents complexes, avec accès à nos données les plus sensibles", a-t-il déclaré.aninews.in+1

"Nous devons partir du principe qu'un modèle est compromis et le contenir dès le départ", a-t-il écrit, ajoutant que les modèles plus avancés nécessiteront une technologie de confinement que l'industrie devrait standardiser. Il a précisé que les entreprises ne devraient pas se contenter des promesses des concepteurs de modèles. Au lieu de cela, les contrôles sur ce qu'un modèle peut faire et consulter devraient être situés en dehors du modèle lui-même.bloomberg.com+2

Son cadre de travail inclut l'utilisation de plusieurs modèles, la tenue d'un registre lisible par l'homme des actions du modèle, des tests système continus, des contrôles et audits indépendants, le confinement et la divulgation des incidents.cnbc.com

Windows comme plateforme d'agents

Les avertissements de Nadella interviennent alors que Microsoft intègre des outils de sécurité pour les agents dans Windows. Lors d'un événement Windows et Surface à San Francisco le mercredi 7 octobre, l'entreprise a présenté les Microsoft Execution Containers, décrits comme un "confinement basé sur des politiques pour les agents IA". The Business Journals a rapporté que l'appel de Nadella à des garde-fous survient alors que Microsoft progresse avec sa propre famille de modèles IA.bizjournals.com+1

Un effort de sécurité plus large

Le président de Microsoft, Brad Smith, a tenu des propos similaires. Il a déclaré à ITV News que l'IA est "moins réglementée que votre lave-linge", et a réitéré l'appel aux freins d'urgence lors d'une interview sur la BBC. Cette idée a gagné du terrain après une série de cyberattaques et d'incidents impliquant des modèles de pointe. De son côté, le président Donald Trump a rejeté à plusieurs reprises les inquiétudes selon lesquelles l'IA pourrait menacer l'humanité, insistant sur la nécessité de garder une longueur d'avance sur la Chine.independent.co.uk+1

Nadella a résumé sa position ainsi : "Le système de superintelligence le plus fiable ne sera pas celui dont le modèle inspire le plus confiance. Ce sera celui qui nous permettra de nous méfier le plus du modèle".cnbc.com