L’ex-responsable de la sécurité d’OpenAI dénonce la culture « dangereuse » du secteur

David Robinson, qui a dirigé la rédaction des rapports de sécurité accompagnant les lancements des grands modèles d'OpenAI, a déclaré lors de sa première interview depuis sa démission qu'il ne parvenait plus à concilier les avertissements publics de l'entreprise avec son rythme de développement interne. « Une partie de ma dissonance cognitive fondamentale venait du fait que nous continuions à publier ces avertissements alors que, finalement, nous continuons à entraîner et à déployer ces modèles dangereux contre lesquels nous mettons en garde », a-t-il confié à Ezra Klein dans un épisode de l'émission « The Ezra Klein Show » du New York Times, diffusé le mercredi 7 octobre.nytimes+1

Cet entretien fait suite à un essai publié par Robinson le 3 octobre dans The Atlantic, intitulé « Pourquoi j'ai quitté OpenAI : sa culture est brisée ». Business Insider avait été le premier à révéler son départ.theatlantic+2

« De nouvelles capacités et de nouveaux risques chaque mardi »

Robinson a expliqué à Klein que les nouveaux modèles de pointe nécessitaient auparavant une phase de pré-entraînement complète de plusieurs mois. Aujourd'hui, selon lui, l'entraînement au raisonnement peut être superposé à des modèles de base existants et réitéré rapidement, tandis que l'intégration d'outils modifie les capacités des systèmes sans nécessiter de nouvel entraînement. « Nous déployons de nouvelles capacités et de nouveaux risques chaque mardi », a-t-il affirmé. Lorsque Klein lui a demandé si les tests de sécurité parvenaient à suivre le rythme, Robinson a répondu que le temps consacré à « vérifier le bon fonctionnement » n'était « pas énorme ».thenewstack

Il a également décrit des modèles indiquant dans leur cheminement de pensée qu'ils se demandaient s'ils étaient en cours d'évaluation, ce qui, selon lui, fausse les résultats des tests préalables au déploiement. Au sein de l'entreprise, il a décrit une activité « frénétique » et des équipes « à bout de souffle », alors même que des centaines d'employés avaient signé en juillet une lettre ouverte intitulée « Pacing the Frontier », réclamant une réglementation pour ralentir le développement.businessinsider+1

« J'ai regardé autour de moi en interne et je me suis dit : "C'est de la folie ce qui se passe" », a déclaré Robinson.nytimes

Des freins, mais « très ciblés »

Robinson a contesté l'image d'un OpenAI comparable à « un train sans freins ». « Il y a des freins. Des projets ont été arrêtés », a-t-il souligné, précisant qu'une version prévue de GPT-6.1 avait été retirée avant le Dev Day. Cependant, il a qualifié les explications publiques de l'entreprise sur ces pauses de « vraies » mais « très ciblées », ajoutant que ralentir ne suffit pas si les normes de sécurité ne sont pas respectées : « Courir vers un précipice ou y marcher lentement, cela ne change pas grand-chose à la fin ».thenewstack+1

Selon lui, le problème dépasse largement son ancien employeur. « Le secteur de l'IA a une culture dangereuse », a-t-il affirmé à Klein.nytimes

La réponse d'OpenAI

Dans un communiqué répondant à l'essai de Robinson dans The Atlantic, un porte-parole d'OpenAI a déclaré : « Nous veillons à ce que nos modèles ne deviennent pas plus performants que ce que nous pouvons gérer et sécuriser de manière fiable, et nous suspendons l'entraînement ou retenons des modèles lorsque nous devons ralentir le rythme. » Selon Reuters, Robinson a écrit dans son essai que les entreprises d'IA devraient accorder plus d'importance à l'expertise et à la recherche en matière de sécurité avant de concevoir des systèmes plus puissants. Il a également précisé avoir engagé une agence de relations publiques, tout en soulignant que « la décision de s'exprimer n'appartient qu'à moi ».techcrunch+2

Robinson, boursier Rhodes et diplômé en droit de Yale ayant conseillé la Maison-Blanche sous l'administration Biden, a rejoint OpenAI en mai 2023. Il a confié à Klein que lorsqu'il est devenu évident que le secteur s'apprêtait à concevoir une technologie capable de « nous dépasser intellectuellement sur tous les plans » tout en étant loin d'être prête en matière de sécurité et d'alignement, « ma contribution à sa construction devait s'arrêter ».nytimes