Le PDG d’Anthropic admet des erreurs et défend la course vers le sommet en IA

Le PDG d'Anthropic, Dario Amodei, a répondu mardi soir, le 20 octobre, à l'un des critiques les plus en vue de la sécurité de son entreprise, dans une réponse sur X de près de 2 000 mots. Il a concédé qu'Anthropic avait mal géré certains problèmes, mais a soutenu que rester à la frontière de l'IA est le meilleur moyen de rendre la technologie sûre, a rapporté Business Insider. Il répondait à Nathan Calvin, directeur de la stratégie de l'organisation à but non lucratif Encode AI. Dans une publication de plus de 1 500 mots lundi, Calvin a énuméré neuf actions qui, selon lui, montraient qu'Anthropic se précipitait vers la superintelligence au détriment de ses engagements en matière de sécurité. Celles-ci incluaient des contrats de calcul d'une valeur de plus de 500 milliards de dollars et une dépendance croissante à l'égard de Claude pour construire ses propres modèles.businessinsider.com ## Une contre-liste de choix coûteux "Notre stratégie a toujours été ce que j'ai appelé la 'course vers le sommet' : en montrant comment il est possible de construire la technologie de manière responsable, nous pouvons placer la barre plus haut pour toute l'industrie", a écrit Amodei. Il a également écrit que "toute décision, sur n'importe quel sujet, peut toujours être présentée comme un complot néfaste".indiatoday.in+1 Il a ensuite exposé ses neuf propres décisions qui, selon lui, étaient commercialement coûteuses mais amélioraient la sécurité. Elles comprenaient le soutien au projet de loi SB 53 de Californie, le maintien de garanties strictes contre le mauvais usage biologique et le report du déploiement plus large de modèles avancés jusqu'à ce que des protections de cybersécurité plus solides soient prêtes. Il a également souligné la sortie du modèle Mythos uniquement auprès d'un petit groupe de partenaires en cybersécurité et la restriction des ventes aux entreprises contrôlées par l'État chinois. Il a reconnu que retenir les capacités de pointe "avait un coût plus large", notamment un progrès plus lent en biologie.businessinsider.com+1 ## La controverse sur le projet de loi Amodei a admis qu'Anthropic aurait pu mieux gérer certains des points de Calvin. L'un d'eux était un projet de loi fédéral que l'entreprise a fait circuler au Congrès ce mois-ci, qui, selon les critiques, rendrait plus difficile pour le gouvernement de bloquer les modèles dangereux. Selon le projet, rapporté pour la première fois par Politico, les responsables fédéraux ne pourraient arrêter un modèle que s'il présentait "un risque prévisible et imminent de plus d'un milliard de dollars de dommages, ou de tuer ou de blesser gravement plus de 50 personnes". Un porte-parole d'Anthropic a déclaré que le projet reflète le cadre d'IA avancée de l'entreprise.politico.com+3 Calvin a également critiqué Anthropic pour avoir modifié sa politique de mise à l'échelle responsable. En février, l'entreprise a abandonné son engagement à faire une pause d'elle-même si ses garanties étaient dépassées par les capacités de ses modèles. "Pourquoi les erreurs tendent-elles systématiquement à protéger et à favoriser les intérêts d'Anthropic ?", a demandé Calvin.chaincatcher.com+1 ## Examen minutieux avant une introduction en bourse L'échange intervient alors qu'Anthropic se prépare à une introduction en bourse prévue en novembre avec une valorisation de 2 000 milliards de dollars. La semaine dernière, l'entreprise a annoncé un chiffre d'affaires de 16,8 milliards de dollars au troisième trimestre.businessinsider.com Amodei a terminé sur une note de défi. "Nous essaierons toujours de faire mieux mais, encore une fois, je suis extrêmement fier de notre bilan et je le défends", a-t-il écrit.businessinsider.com