Un responsable de l’alignement chez Anthropic estime à plus de 10% le risque que l’IA tue toute l’humanité

Evan Hubinger, qui dirige la science de l'alignement chez Anthropic, a posté sur X mardi qu'il croit personnellement qu'il y a plus de 10% de chances que l'IA "puisse tuer tous les humains" au cours de la prochaine décennie, une déclaration qui a suscité plus de 10 millions de vues et secoué les commentaires financiers entourant l'introduction en bourse prévue de l'entreprise.bbc+2

"Jacob a raison ici : nous croyons vraiment, sincèrement, que l'IA pourrait tuer tous les humains ! Je pense personnellement que c'est >10% au cours de la prochaine décennie", a écrit Hubinger. "Je crois qu'Anthropic fait de son mieux, mais nous n'avons pas encore de plan pour résoudre l'alignement de la superintelligence et nous ne sommes clairement pas sur la bonne voie pour y parvenir".x

Une démission déclenche une réaction en chaîne

Le message de Hubinger faisait suite à celui de Jacob Coxon, un chercheur en IA qui a annoncé sur X qu'il démissionnait d'Anthropic après avoir passé trois ans chez Anthropic et OpenAI. Coxon a accusé les deux entreprises de "foncer tout droit vers une superintelligence auto-améliorée et de jouer avec nos vies".nypost+1

"Les personnes qui construisent l'IA croient sincèrement qu'elle pourrait nous tuer tous d'ici la fin de la décennie. Ce n'est pas un coup marketing", a écrit Coxon, ajoutant que les cadres et les chercheurs seniors expriment en privé des craintes qu'ils atténuent dans leurs déclarations publiques.saudigazette+1

Un troisième employé d'Anthropic, le responsable de la surveillance évolutive Samuel Marks, a ajouté sa propre évaluation dans le même fil de discussion, écrivant que "en général, plus l'employé est haut placé, plus il est inquiet".breitbart

Cramer passe du battage médiatique à l'hésitation

Ces révélations ont créé une scène inhabituelle sur CNBC. Mardi soir, dans l'émission Mad Money, Jim Cramer a déclaré aux téléspectateurs qu'Anthropic "pourrait être une introduction en bourse gigantesque et que les investisseurs vendront toutes sortes d'autres actions pour lever des fonds afin d'y participer". Mercredi matin, dans Squawk on the Street, il comparait l'estimation de Hubinger aux taux de mortalité chirurgicale. "Si vous avez déjà été dans une situation où vous voulez une chirurgie et que la chirurgie présente plus de 5% de risque de décès, non, vous ne le faites pas… 10% c'est deux fois 5%", a déclaré Cramer, ajoutant qu'il était "très surpris que cet homme travaille toujours" chez Anthropic.tech-insider+1

Anthropic n'a pas déposé de formulaire S-1 auprès de la SEC et reste une société privée, bien que le Financial Times News Corp ↘ 0.91% ait rapporté que les actionnaires s'attendent à ce que l'entreprise soit finalement cotée à plus de 2 000 milliards de dollars. L'entreprise avait précédemment levé un tour de table de série H la valorisant à 965 milliards de dollars.247wallst+1

Un schéma d'avertissements

L'estimation de Hubinger s'inscrit dans une fourchette déjà établie par d'autres personnalités éminentes de l'IA. Le PDG d'Anthropic, Dario Amodei, a déjà cité une probabilité d'environ 25% de résultats catastrophiques, tandis que Geoffrey Hinton a estimé une fourchette de 10% à 20%, selon Axios. Mais la révélation de Hubinger a un poids particulier en tant que déclaration officielle d'un employé nommé dont le travail consiste à résoudre le problème même qu'il juge non résolu, arrivant en pleine spéculation intense sur l'introduction en bourse.tech-insider

L'épisode fait également suite à un rapport du Financial Times selon lequel Anthropic a retenu son dernier modèle de l'Institut de sécurité de l'IA du Royaume-Uni. Neil Lawrence, professeur d'apprentissage automatique à l'Université de Cambridge, a déclaré à la BBC que le rapport était crédible, citant un contexte dans lequel les États-Unis "voient vraiment l'IA comme une course" avec la Chine.bbc+1

Ni Anthropic ni OpenAI n'ont montré de signes de ralentissement du développement. Le scientifique en chef d'OpenAI, Jakub Pachocki, a appelé à une "extrême prudence" plus tôt ce mois-ci, mais n'est pas allé jusqu'à annoncer une pause. Une lettre ouverte signée par 1 300 employés d'entreprises d'IA a exhorté le gouvernement américain à aider à "rythmer délibérément la frontière du développement de l'IA automatisée".saudigazette+1