Des employés d’OpenAI ont signalé des failles de sécurité pendant des années

Selon un rapport de Reuters publié le 3 novembre, les employés d'OpenAI soulevaient des préoccupations concernant la sécurité interne de l'entreprise bien avant le lancement de ChatGPT fin 2022. Reuters a cité cinq personnes proches du dossier. Certains de ces employés ont fait part de leurs inquiétudes aux hauts dirigeants et au conseil d'administration. Plusieurs en sont ressortis convaincus que la direction se souciait davantage de suivre le rythme de Google et d'Anthropic que de protéger la technologie de l'entreprise. Lorsqu'OpenAI a révélé en octobre avoir trouvé un dispositif d'enregistrement placé dans une salle de conférence de direction, plusieurs anciens employés ont déclaré ne pas être surprisrmb.reuters.com.

Ce rapport accroît la pression sur OpenAI et Anthropic. Les deux entreprises font l'objet d'une surveillance croissante quant à la manière dont elles protègent une technologie que les responsables américains considèrent désormais comme un atout stratégique. Des mesures de sécurité supplémentaires pourraient également ralentir la recherche et compliquer les projets des deux entreprises en vue d'importantes offres publiques, a rapporté Reutersca.finance.yahoo.com.

Code ouvert et outils non testés

Les sources ont déclaré à Reuters qu'OpenAI conservait la majeure partie de son code dans un "monorepo" unique. Cela signifiait que quiconque pouvait y accéder pouvait voir les détails de projets sensibles sans rapport avec son propre travail. Trois personnes ont également déclaré que les outils internes, y compris les bacs à sable utilisés pour tester les modèles, ne faisaient pas l'objet d'examens de sécurité réguliers. OpenAI a répondu que ses travaux les plus sensibles se trouvent dans des référentiels distincts avec des contrôles d'accès stricts. Elle a précisé que le monorepo ne contient pas les poids des modèles et qu'elle examine désormais régulièrement les outils internesca.finance.yahoo.com.

Thibault Sottiaux, un cadre supérieur chargé des produits, a pris en charge un effort visant à sécuriser les systèmes internes. En août, il a transféré un quart des ingénieurs de production d'OpenAI vers l'infrastructure de sécurité, a déclaré une source. La porte-parole Elana Widmann a qualifié OpenAI de "l'une des organisations les plus ciblées au monde". Elle a déclaré que les actions récentes montrent que son programme de sécurité "identifie les risques et réagit de manière décisive". Après que Reuters a demandé des commentaires, OpenAI a annoncé dans un article de blog le 2 novembre qu'elle prévoyait son "prochain sprint de sécurité interne".

L'affaire des écoutes et les intrusions extérieures

Le 13 octobre, le ministère de la Justice a déclaré que des agents fédéraux avaient arrêté Abdulrahman Alfozan, un ingénieur d'OpenAI de 35 ans de nationalité saoudienne. Il est accusé d'avoir caché un dispositif d'enregistrement audio, enveloppé dans du papier toilette, dans une salle de conférence de direction. Les procureurs allèguent qu'il a utilisé un outil d'IA interne pour rechercher les voyages des dirigeants en Arabie saoudite. Un juge a depuis ordonné son maintien en détention sans caution, a rapporté Ground Newsground.news+1.

Par ailleurs, des chercheurs de Hacktron AI ont déclaré avoir utilisé Claude d'Anthropic en juillet pour enchaîner deux vulnérabilités critiques. Cela leur a permis de prendre le contrôle de plusieurs comptes ChatGPT d'employés d'OpenAI et d'accéder à des référentiels internes. OpenAI a confirmé le rapport et a déclaré que les failles avaient été corrigéesnbcnews.com+1.

Anthropic a connu ses propres problèmes. Fin octobre, une startup appelée Cathedral Systems a déclaré avoir pénétré dans les systèmes d'Anthropic et obtenu l'accès à des canaux Slack où le personnel discutait de détails sensibles sur les modèles. Anthropic a déclaré que les données exposées comprenaient certains contacts professionnels de clients et de partenaires ainsi que des enregistrements de base de comptes d'utilisateursca.finance.yahoo.com.

Vitesse contre sécurité

Will DePue est un ancien chercheur d'OpenAI qui a démissionné en avril. Il a résumé la tension dans un message cité par Reuters : les leaders de l'IA "ne peuvent pas sacrifier la vitesse au profit de la sécurité. Il est plus important pour eux d'avancer vite que d'être en sécurité, même face à nos plus grands adversaires nationaux".