benchmarking

OpenAI gab am Dienstag bekannt, dass es seine Empfehlung für SWE-Bench Pro als zuverlässiges Maß für die KI-Programmierfähigkeit zurückzieht. Grund dafür ist ein internes Audit, das ergab, dass etwa 30 % der Aufgaben des Benchmarks defekt sind und eine Rauschgrenze…