OpenAI zieht Empfehlung für SWE-Bench Pro nach Audit zurück, das 30 % defekte Aufgaben aufdeckte

OpenAI gab am Dienstag bekannt, dass es seine Empfehlung für SWE-Bench Pro als zuverlässiges Maß für die KI-Programmierfähigkeit zurückzieht. Grund dafür ist ein internes Audit, das ergab, dass etwa 30 % der Aufgaben des Benchmarks defekt sind und eine Rauschgrenze von etwa 70 % die Nützlichkeit für die Bewertung von Spitzenmodellen untergräbt.x+1

Ein Muster der Benchmark-Erosion

Der Rückzug markiert das zweite Mal in weniger als sechs Monaten, dass OpenAI sich von einer wichtigen Programmierbewertung distanziert. Im Februar 2026 stellte das Unternehmen die Berichterstattung über Ergebnisse für SWE-bench Verified ein – einen Benchmark, an dessen Entwicklung es 2024 beteiligt war –, nachdem festgestellt wurde, dass 59,4 % der geprüften Aufgaben fehlerhafte Testfälle enthielten und eine Kontamination der Trainingsdaten die Ergebnisse bedeutungslos gemacht hatte.openai+1

Damals verwies OpenAI Forscher auf SWE-Bench Pro, einen schwierigeren Benchmark von Scale AI, der 1.865 langfristige Software-Engineering-Aufgaben in 41 professionellen Repositories umfasst. Der Benchmark wurde entwickelt, um den Kontaminationsproblemen entgegenzuwirken, die seinen Vorgänger plagten, und führende Spitzenmodelle erreichten anfangs nur etwa 23 %.morphllm+3

Schnelle Sättigung

Doch die Ergebnisse stiegen schnell. Bis Ende Juni 2026 erreichte Claude Opus 4.8 69,2 % bei herstellerübergreifenden Harnesses und GPT-5.4 (xHigh) erzielte 59,1 % im standardisierten öffentlichen Set von Scale. Das Audit von OpenAI kommt nun zu dem Schluss, dass Ergebnisse in diesem Bereich keine echten Fähigkeitsunterschiede zwischen den Modellen mehr widerspiegeln – sie spiegeln stattdessen die eigenen Einschränkungen des Benchmarks wider, einschließlich defekter Aufgabenspezifikationen und einer fehleranfälligen Testinfrastruktur.morphllm+3

Das Unternehmen bezeichnete SWE-Bench Pro als "einen der am weitesten verbreiteten KI-Programmier-Benchmarks" und forderte die Forschungsgemeinschaft auf, sich neuen Bewertungsmethoden zuzuwenden.digg+1

Breitere Auswirkungen

Die Ankündigung verschärft eine wachsende Vertrauenskrise bei KI-Programmierbewertungen. Forscher haben festgestellt, dass die Lücke zwischen der Leistung in Benchmarks und dem realen Software-Engineering weiterhin groß ist, wobei Modelle, die bei strukturierten Bewertungen gut abschneiden, oft bei Aufgaben scheitern, die echtes architektonisches Denken oder die vollständige Konstruktion von Programmen von Grund auf erfordern. OpenAI hat noch keinen Ersatz-Benchmark benannt, was das Feld ohne einen Konsensstandard für die Messung des Fortschritts bei der Programmierung durch Spitzenmodelle zurücklässt.tianpan+1