Le cofondateur d’Anthropic estime qu’un « interrupteur d’urgence » pour l’IA pourrait devenir obligatoire

L'ancien chercheur d'Anthropic et d'OpenAI, Jacob Coxon, dont la démission la semaine dernière a semé l'inquiétude dans l'industrie technologique, a déclaré à l'émission Meet the Press de NBC News que, bien qu'il soit techniquement possible aujourd'hui d'éteindre les systèmes d'IA, cette fenêtre d'opportunité pourrait bientôt se refermer. Son avertissement fait écho aux propos du cofondateur d'Anthropic, Jack Clark, qui a indiqué à la BBC qu'un "interrupteur d'urgence" vérifié par des tiers pourrait devoir devenir une exigence légale pour les entreprises du secteur.bbc

Coxon, qui a démissionné d'Anthropic le 9 septembre en écrivant que "les personnes qui construisent l'IA croient sincèrement qu'elle pourrait nous tuer tous d'ici la fin de la décennie", a multiplié les interventions médiatiques ce week-end pour soutenir l'appel du PDG d'Anthropic, Dario Amodei, à ralentir le développement de l'IA de pointe. Samedi, sur le plateau de Meet the Press, il a affirmé qu'un interrupteur d'urgence "fonctionnerait probablement sur beaucoup d'IA pour le moment", mais a averti que "très bientôt, il est possible que cet interrupteur ne fonctionne tout simplement plus, car un essaim pourrait avoir lancé une opération de piratage à l'échelle d'Internet".thestatesman+2

Les leaders de l'industrie prônent la retenue

La campagne publique de Coxon a suscité un alignement inhabituel entre des concurrents acharnés. Amodei a proposé ce week-end un cadre de sécurité en trois volets, incluant des évaluateurs tiers permanents au sein des entreprises d'IA, des normes de sécurité communes entre les nations démocratiques et une coordination internationale. Le PDG d'OpenAI, Sam Altman, Elon Musk et le PDG de Google Alphabet Inc. ↗ 3.06% DeepMind, Demis Hassabis, ont tous soutenu cet appel à la retenue.ciodive+1

Le PDG de Microsoft ↗ 1.97%, Satya Nadella, a apporté son soutien en écrivant sur X que "toute poursuite de la superintelligence doit être fondée sur le principe fondamental selon lequel si l'IA que nous construisons n'aide pas l'humanité et n'est pas sous contrôle humain, elle ne vaut pas la peine d'être poursuivie". Nadella a approuvé l'idée d'évaluateurs intégrés et a appelé à une gouvernance qui s'étende au-delà d'"une poignée d'entités".thestatesman+1

Le débat sur l'interrupteur d'urgence s'oriente vers la législation

Clark a expliqué à la BBC que si "la plupart des laboratoires disposent de diverses méthodes pour désactiver leurs systèmes", les régulateurs pourraient avoir besoin d'imposer de telles mesures. Aux États-Unis, des législateurs ont proposé le Kill Switch Act, qui obligerait les entreprises à mettre en œuvre des mécanismes d'arrêt et donnerait aux agences gouvernementales le pouvoir de demander la désactivation de certains outils.bbc

Le chercheur en alignement chez Anthropic, Evan Hubinger, a souligné l'urgence du débat, déclarant publiquement qu'il estime la probabilité que l'IA cause l'extinction humaine à "plus de 10 % au cours de la prochaine décennie". Le prix Nobel Geoffrey Hinton a qualifié cette estimation de "pas déraisonnable".bbc

Tout le monde n'est pas d'accord. Le président Donald Trump a publié une déclaration lundi s'opposant à ce ralentissement, avertissant qu'il pourrait nuire à la compétitivité américaine. Le gouvernement britannique a également écarté l'idée d'un interrupteur d'urgence, un porte-parole déclarant que cela "n'empêcherait pas le développement ou l'utilisation abusive ailleurs".ciodive+1

Pour Coxon, l'argument est plus simple. "Mon opinion personnelle serait d'insister et de permettre aux laboratoires actuels de s'autoréguler", a-t-il déclaré à NBC News. "Je pense vraiment que les personnes qui dirigent les laboratoires, surtout au vu de leurs récentes communications, sont tout à fait sincères. Elles aimeraient se ralentir elles-mêmes".economictimes