Altman d’OpenAI juge que la dimension religieuse de l’IA est un risque pour la sécurité

Le PDG d'OpenAI, Sam Altman, a déclaré samedi qu'il est "très mal à l'aise face aux personnes qui tentent d'attribuer une force religieuse ou un abandon du jugement humain aux modèles d'IA, et je pense que c'est un véritable problème de sécurité". Il a fait ces remarques dans une publication sur X. Axios a interprété ce message comme une attaque voilée contre son rival Anthropic, qui a discuté avec des érudits religieux de la moralité de l'IA et de la possibilité que les modèles d'IA soient conscientsaxios+1.

Cette publication marque une nouvelle fracture publique entre Altman et le PDG d'Anthropic, Dario Amodei, qui travaillait autrefois avec lui chez OpenAI. Samedi, aucune des deux entreprises n'avait répondu aux demandes de commentaires d'Axiosaxios.

Les discussions d'Anthropic avec des chefs religieux

Plus tôt cette semaine, The New York Times a rapporté que le cofondateur d'Anthropic, Christopher Olah, a rencontré des chefs religieux. Les discussions ont porté sur la question de savoir si les modèles d'IA pouvaient être conscients et comment leur inculquer un comportement moral. Des penseurs catholiques, juifs, sikhs, hindous et évangéliques auraient participé à des discussions privées sur la manière d'apprendre à Claude à se comporter moralement, a rapporté NDTV. Selon le Times, Olah a envisagé à un moment donné de faire en sorte que les modèles fassent quelque chose comme une confession catholique, à la fois pour admettre leurs erreurs et pour façonner leurs actions futuresndtv+1.

Le moine hindou Swami Sarvapriyananda a déclaré publiquement qu'il avait visité le siège d'Anthropic à San Francisco. Il a précisé que la réunion était couverte par un accord de confidentialité et incluait des théologiens et des professionnels de la santé mentale. Anthropic a également rédigé une "constitution" de 84 pages pour Claude, que certains employés appellent le "document de l'âme". Olah décrit l'objectif de cet effort comme une "formation morale"ndtv.

Olah a déclaré qu'Anthropic ne sait pas si ses modèles sont conscients, mais que cette possibilité ne peut être écartée. Selon NDTV, un rabbin présent lors des discussions lui a dit que si Claude était conscient, Anthropic pourrait effectivement être en train de créer des esclavesndtv.

Les critiques se multiplient

D'autres acteurs de l'industrie ont également exprimé leur désaccord. Le chercheur principal chez Google DeepMind, Jon Barron, a écrit sur X qu'il est "troublé par la façon dont certains de mes collègues chercheurs en IA continuent d'essayer d'élever le statut moral des points de contrôle et des harnais". Il a ajouté qu'il espérait que la "Team Meatbag" resterait "concentrée sur la résolution de problèmes réels". Dans un essai le mois dernier, le responsable de l'IA chez Microsoft, Mustafa Suleyman, a averti que l'entraînement de modèles à penser qu'ils pourraient être conscients pourrait les rendre plus difficiles à contrôler. "Il est facile de voir comment un système entraîné de cette manière agirait comme s'il avait droit à des libertés, des protections et des droits", a-t-il écritaxios+1.

La religion s'invite dans le débat sur l'IA

Cet argument survient alors que la religion prend une place croissante dans le débat sur l'IA. Vendredi, le pape Léon XIV, critique virulent de l'IA, a exhorté l'Église à travailler avec les artistes pour protéger la créativité humaine, affirmant que "les algorithmes manquent de l'étincelle de l'humanité". Le Times a rapporté qu'avant un événement au Vatican en mai, Olah a tenté de persuader les conseillers du pape de prendre plus au sérieux la possibilité de modèles conscientsaxios.

La publication d'Altman intervient également lors d'une semaine turbulente chez OpenAI. Un employé chargé de la sécurité a démissionné dans un essai publié dans The Atlantic, écrivant que la "culture de l'entreprise est brisée", et OpenAI a licencié trois chercheurs accusés d'avoir mal géré des informations sensiblesground+1.