Hinton juge « pas déraisonnable » une probabilité de 10% d’extinction humaine par l’IA

Le chercheur en informatique et prix Nobel Geoffrey Hinton a déclaré mardi à BBC Newsnight qu'une probabilité de 10% que l'intelligence artificielle tue tous les humains au cours de la prochaine décennie "ne semble pas être une estimation déraisonnable", une remarque qui a laissé la présentatrice Victoria Derbyshire visiblement stupéfaite à l'antenne.ndtvprofit+1

"Nous n'avons jamais créé d'êtres qui pourraient bientôt être plus intelligents que nous. Nous ne savons pas ce qui va se passer", a déclaré Hinton lorsque Derbyshire lui a demandé si ce chiffre était crédible. "Une chance de 10% ne me semble pas être une estimation déraisonnable. Mais personne ne sait vraiment comment donner une estimation sensée." Lorsque Derbyshire a répété ses propos, Hinton a répondu par un seul mot : "Oui". Sa réaction — "Wow… oh mon Dieu" — a rapidement circulé en ligne.ndtv+1

Comment l'IA pourrait causer une dévastation

Hinton, lauréat du prix Nobel de physique 2024 pour ses travaux sur l'apprentissage automatique, a déclaré qu'une IA avancée n'aurait pas besoin d'un contrôle physique du monde pour constituer une menace existentielle. "Elle pourrait causer un chaos total simplement en parlant aux gens", a-t-il dit. "Mais elle serait aussi capable de concevoir des virus très méchants, des virus biologiques, ainsi que des virus informatiques. Elle pourrait mener des cyberattaques dévastatrices." Il a ajouté qu'il serait "très stupide" de supposer que le risque est aussi bas que 1%.ndtvprofit+1

Stuart Russell, professeur à l'UC Berkeley, a fait écho à ces préoccupations, déclarant à Business Insider que l'IA ou des acteurs utilisant l'IA pourraient attaquer des infrastructures critiques, notamment les systèmes électriques, hydrauliques, de transport et financiers.businessinsider

Les démissions chez Anthropic qui ont déclenché le débat

L'interview de Hinton fait suite à une série d'événements qui a débuté le 8 septembre lorsque Jacob Coxon, ancien chercheur en pré-entraînement chez OpenAI et Anthropic, a démissionné publiquement. "Aucune des deux entreprises n'agit de manière responsable", a écrit Coxon sur X. "Elles foncent tout droit vers une superintelligence auto-améliorée et jouent avec nos vies."ibtimes+1

Le responsable de la science de l'alignement chez Anthropic, Evan Hubinger, a ensuite répondu publiquement que Coxon avait "raison" et qu'il croit personnellement qu'il y a plus de 10% de chances que l'IA puisse tuer tous les humains au cours de la décennie. "Nous n'avons pas encore de plan pour résoudre l'alignement de la superintelligence et nous ne sommes pas clairement sur la bonne voie", a écrit Hubinger.businessinsider+1

Une fracture nette parmi les experts

Tous les chercheurs ne partagent pas cette inquiétude. Gary Marcus, chercheur en IA, a déclaré à Business Insider qu'il considère les cyberattaques, les armes biologiques et la désinformation comme des risques sérieux, mais qu'il ne considère pas l'extinction comme un résultat réaliste à court terme. "Il y a des dommages très graves dont il faut s'inquiéter, mais aucun scénario réaliste dont j'ai connaissance pour réellement 'tuer tous les humains'", a-t-il déclaré. Yann LeCun de Meta ↗ 0.84% a précédemment rejeté de telles estimations de probabilité, les qualifiant d'intuitions, une caractérisation que Hinton lui-même a en partie acceptée, déclarant à CNN que "quiconque estime des probabilités comme ça fait vraiment une supposition sauvage".businessinsider+1

Le présentateur d'ITV, Robert Peston, a ajouté sa voix au débat en écrivant sur X : "Je suis légèrement étonné que cela n'ait pas attiré plus d'attention, y compris de la part du gouvernement."ladbible