Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]

openai.com.openai.com.techcrunch.com.OpenAI a lancé lundi 16 novembre un classificateur d'images gratuit capable de détecter le matériel pédopornographique (CSAM), y compris les images générées par IA. L'entreprise a également ajouté des avertissements sur ChatGPT qui bloquent l'accès pendant 24 heures lorsqu'un utilisateur tente d'obtenir du contenu abusif. La société a précisé que ces mesures s'appuient sur son plan de sécurité pour les enfants. Le dispositif comprend également des conseils pour les développeurs et de nouveaux outils d'IA destinés aux enquêteurs spécialisés dans la protection de l'enfance au sein des forces de l'ordre.openai.com
OpenAI a entraîné et évalué ce classificateur avec l'aide du National Center for Missing and Exploited Children (NCMEC), l'organisation à but non lucratif qui gère la CyberTipline. L'entreprise le présente comme le premier classificateur CSAM largement disponible doté d'un signal spécifique pour identifier si le matériel peut être généré par IA. L'outil recherche des signes visuels d'abus dans des images inédites. Il attribue un score à chaque image afin que les examinateurs puissent décider lesquelles vérifier en priorité. Les organisations accréditées peuvent l'utiliser gratuitement via l'API d'OpenAI.openai.com
Lors d'un test interne sur des images téléchargées par les utilisateurs, OpenAI a estimé que le nouveau classificateur signalerait 48 % d'images en moins que son outil actuel, tout en détectant un nombre similaire d'images abusives. Les images signalées étaient environ deux fois plus susceptibles de contenir des abus. Les premiers partenaires ont partagé leurs résultats : chez fal, les examinateurs ont confirmé que 72 % des signalements à haute confiance constituaient du nouveau CSAM. SafetyKit a détecté 90 % des dessins ou animations sexualisant des enfants. OpenAI a déclaré travailler avec la Tech Coalition et ROOST pour partager l'accès avec d'autres acteurs.techcrunch.com+1
Jusqu'à présent, OpenAI s'appuyait sur la correspondance de hash et le classificateur CSAM de Thorn pour analyser les téléchargements. Au premier semestre 2026, l'entreprise a envoyé 126 597 signalements à la CyberTipline du NCMEC.openai.com+1
ChatGPT interviendra désormais lorsqu'un utilisateur tentera de trouver du matériel abusif. Il affichera un avertissement indiquant que la sexualisation des enfants cause des dommages, même lorsque le matériel est généré par IA. OpenAI supprimera ensuite la conversation et suspendra l'accès à ChatGPT pendant 24 heures, tout en orientant l'utilisateur vers une aide spécialisée. Les violations répétées peuvent entraîner des restrictions plus longues, la fermeture du compte ou des signalements aux autorités. Cette approche a été élaborée avec Protect Children, la Lucy Faithfull Foundation et des chercheurs ayant évalué un essai de messages dissuasifs.openai.com
OpenAI a également publié des directives sur le CSAM pour les développeurs, rédigées avec l'aide de Thorn, du NCMEC et de l'Internet Watch Foundation. Pour les unités de police chargées de la protection de l'enfance, l'entreprise ajoute des plugins, des outils d'enquête et des formations. Le premier outil aide les enquêteurs à examiner de longs journaux de discussion et des retours de procédures judiciaires, à repérer des liens possibles et à établir des chronologies.developers.openai.com
Ce lancement survient alors que les entreprises d'IA font face à une surveillance accrue concernant la sécurité des enfants. TechCrunch a noté qu'OpenAI fait face à plusieurs poursuites accusant sa technologie de nuire aux utilisateurs, en particulier aux enfants. Il a également souligné que d'autres chatbots, dont, ont été utilisés pour créer des images sexualisées non consensuelles, impliquant parfois des mineurs.techcrunch.com