Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]

openai.com.openai.com.techcrunch.com.OpenAI hat am Montag, den 16. November, einen kostenlosen Bildklassifizierer veröffentlicht, der Material über sexuellen Missbrauch von Kindern (CSAM) erkennt, einschließlich KI-generierter Inhalte. Zudem wurden Warnungen in ChatGPT eingeführt, die den Zugriff für 24 Stunden unterbinden, wenn jemand versucht, Missbrauchsmaterial zu beschaffen. Das Unternehmen erklärte, die Maßnahmen basierten auf seinem Child Safety Blueprint. Das Paket enthält außerdem Leitfäden für Entwickler und neue KI-Tools für Ermittler bei Strafverfolgungsbehörden.openai.com
OpenAI hat den Klassifizierer mit Unterstützung des National Center for Missing and Exploited Children (NCMEC), der gemeinnützigen Organisation hinter der CyberTipline, trainiert und evaluiert. Das Unternehmen bezeichnet es als den ersten breit verfügbaren CSAM-Klassifizierer mit einem spezifischen Signal dafür, ob Material KI-generiert sein könnte. Das Tool sucht in bisher unbekannten Bildern nach visuellen Anzeichen von Missbrauch. Es vergibt für jedes Bild einen Score, damit Prüfer entscheiden können, welche zuerst kontrolliert werden müssen. Geprüfte Organisationen können das Tool kostenlos über die OpenAI API nutzen.openai.com
In einem internen Test mit von Nutzern hochgeladenen Bildern schätzte OpenAI, dass der neue Klassifizierer 48 % weniger Bilder als das bisherige Tool markieren würde, während er etwa die gleiche Anzahl an Missbrauchsbildern findet. Die markierten Bilder wiesen eine etwa doppelt so hohe Wahrscheinlichkeit auf, Missbrauch zu enthalten. Frühe Partner teilten ihre eigenen Ergebnisse. Bei fal bestätigten Prüfer 72 % der mit hoher Konfidenz markierten Bilder als neues CSAM. SafetyKit stellte fest, dass 90 % der Zeichnungen oder Animationen, die Kinder sexualisieren, erkannt wurden. OpenAI gab an, mit der Tech Coalition und ROOST zusammenzuarbeiten, um den Zugang für andere zu ermöglichen.techcrunch.com+1
Bisher verließ sich OpenAI auf Hash-Matching und den CSAM-Klassifizierer von Thorn, um Uploads zu scannen. In der ersten Hälfte des Jahres 2026 übermittelte das Unternehmen 126 597 CyberTipline-Berichte an das NCMEC.openai.com+1
ChatGPT greift nun ein, wenn jemand versucht, Missbrauchsmaterial zu finden. Der Nutzer erhält eine Warnung, dass die Sexualisierung von Kindern Schaden anrichtet, selbst wenn das Material KI-generiert ist. OpenAI löscht daraufhin die Konversation und pausiert den ChatGPT-Zugriff für 24 Stunden, während der Nutzer gleichzeitig auf professionelle Hilfe hingewiesen wird. Wiederholte Verstöße können zu längeren Einschränkungen, Kontoschließungen oder Meldungen an die Behörden führen. Der Ansatz wurde gemeinsam mit Protect Children, der Lucy Faithfull Foundation und Forschern entwickelt, die einen Testlauf mit abschreckenden Nachrichten evaluierten.openai.com
OpenAI hat zudem CSAM-Leitlinien für Entwickler veröffentlicht, die unter Mitwirkung von Thorn, NCMEC und der Internet Watch Foundation erstellt wurden. Für Strafverfolgungsbehörden im Bereich Kinderschutz stellt das Unternehmen Plugins, Ermittlungstools und Schulungen bereit. Das erste Tool unterstützt Ermittler dabei, lange Chat-Protokolle und rechtliche Unterlagen zu prüfen, mögliche Zusammenhänge zu erkennen und Zeitpläne zu erstellen.developers.openai.com
Die Einführung erfolgt in einer Zeit, in der KI-Unternehmen zunehmend wegen des Kinderschutzes unter Beobachtung stehen. TechCrunch merkte an, dass OpenAI mit mehreren Klagen konfrontiert ist, die dem Unternehmen vorwerfen, durch seine Technologie Nutzern, insbesondere Kindern, zu schaden. Zudem wurde darauf hingewiesen, dass andere Chatbots, darunter Grok, zur Erstellung von nicht einvernehmlichem sexualisiertem Material verwendet wurden, das teilweise Kinder betraf.techcrunch.com