Un cofondateur d’Anthropic réclame un interrupteur d’urgence obligatoire pour l’IA

Jack Clark, cofondateur d'Anthropic, a déclaré lundi à la BBC que les gouvernements devraient envisager d'exiger des entreprises d'IA qu'elles intègrent dans leurs systèmes des "interrupteurs d'urgence" vérifiables de manière indépendante, ajoutant une dimension réglementaire à une vague croissante d'inquiétudes au sein de l'industrie concernant le rythme de développement de l'intelligence artificielle.bbc

Clark a précisé que si la plupart des grands laboratoires d'IA, dont Anthropic, disposent déjà de mécanismes internes pour arrêter leurs logiciels, les mesures de protection volontaires pourraient ne pas suffire. "Les entreprises devraient-elles être tenues d'avoir un interrupteur d'urgence ? Cet interrupteur est-il soumis à une vérification par un tiers ?", a demandé Clark lors de l'entretien, qualifiant ces questions de centrales pour "le dialogue politique plus large" autour de l'IA.bbc

Une semaine d'alerte

Ces remarques couronnent une période turbulente pour Anthropic et le secteur de l'IA dans son ensemble. Le 8 septembre, le chercheur d'Anthropic, Evan Hubinger, a déclaré publiquement qu'il pensait qu'il y avait plus de 10 % de chances que l'IA entraîne l'extinction de l'humanité au cours de la prochaine décennie, un chiffre que le prix Nobel Geoffrey Hinton a qualifié de "pas déraisonnable" auprès de la BBC. Ces commentaires ont suivi la démission du chercheur Jacob Coxon, qui a accusé les laboratoires d'IA de "foncer tout droit vers une superintelligence auto-améliorée et de jouer avec nos vies".bbc+2

Samedi, le PDG d'Anthropic, Dario Amodei, a publié un essai de 3 800 mots appelant à un ralentissement général du développement des capacités de l'IA, arguant que l'industrie a besoin "d'un à deux ans supplémentaires" pour mettre en œuvre des mesures de protection. L'essai a rapidement reçu le soutien du PDG d'OpenAI, Sam Altman, d'Elon Musk et du président de Google Alphabet Inc. ↗ 0.78% DeepMind, Demis Hassabis. Le président Donald Trump a rejeté ces avertissements dimanche, comparant les critiques à des "forces très négatives" et insistant sur le fait que les États-Unis doivent conserver leur avance technologique.cbc+2

Une introduction en bourse imminente

La pression exercée par Clark en faveur d'une réglementation intervient à un moment commercialement tendu pour Anthropic, qui se prépare à une introduction en bourse dès octobre. Selon le Financial Times, les investisseurs estiment que l'entreprise pourrait être valorisée à environ 2 000 milliards de dollars, ce qui en ferait la plus grande introduction en bourse de l'histoire. Les investisseurs ont indiqué au FT que le chiffre d'affaires annualisé d'Anthropic est en bonne voie pour atteindre entre 100 et 120 milliards de dollars d'ici la fin de 2026, soit une multiplication par plus de dix au cours de l'année.qz+1

Clark a reconnu la tension entre l'appel à des contraintes et l'exploitation sur un marché extrêmement concurrentiel. Il a averti que laisser l'IA rester une "industrie totalement non réglementée" est une voie dangereuse. "Nous jouons aux dés avec des risques immenses", a-t-il déclaré. "L'essentiel est que nous devons modifier la trajectoire de cette industrie".bbc