OpenAI drar tillbaka rekommendation av SWE-Bench Pro efter att revision funnit att 30 % av uppgifterna är trasiga

OpenAI meddelade på tisdagen att de drar tillbaka sin rekommendation av SWE-Bench Pro som ett tillförlitligt mått på AI-kodningsförmåga. De hänvisar till en intern revision som fann att cirka 30 % av benchmarkens uppgifter är trasiga och att det finns ett brustak på cirka 70 % som undergräver dess användbarhet för att utvärdera avancerade modeller.x+1

Ett mönster av benchmark-erosion

Tillbakadragandet markerar andra gången på mindre än sex månader som OpenAI har övergivit en större kodningsutvärdering. I februari 2026 slutade företaget att rapportera resultat för SWE-bench Verified – ett benchmark de var med och skapade 2024 – efter att ha funnit att 59,4 % av de reviderade uppgifterna innehöll bristfälliga testfall och att kontaminering av träningsdata hade gjort resultaten meningslösa.openai+1

Vid den tidpunkten hänvisade OpenAI forskare till SWE-Bench Pro, ett svårare benchmark utvecklat av Scale AI som består av 1 865 mjukvaruingenjörsuppgifter med lång tidshorisont över 41 professionella arkiv. Benchmarken var utformad för att motstå de kontamineringsproblem som plågade föregångaren, och de bästa modellerna nådde i början bara cirka 23 % på den.morphllm+3

Snabb mättnad

Men resultaten steg snabbt. I slutet av juni 2026 nådde Claude Opus 4.8 69,2 % på leverantörsaggregerade tester och GPT-5.4 (xHigh) fick 59,1 % på Scales standardiserade offentliga set. OpenAI:s revision drar nu slutsatsen att resultat i detta intervall inte längre reflekterar verkliga skillnader i förmåga mellan modeller – de reflekterar istället benchmarkens egna begränsningar, inklusive trasiga uppgiftsspecifikationer och brusig testinfrastruktur.morphllm+3

Företaget kallade SWE-Bench Pro för "ett av de mest använda AI-kodningsbenchmarken" och uppmanade forskarsamhället att gå över till nya utvärderingsmetoder.digg+1

Bredare implikationer

Tillkännagivandet förstärker en växande förtroendekris inom AI-kodningsutvärderingar. Forskare har noterat att gapet mellan benchmark-prestanda och mjukvaruutveckling i verkligheten förblir stort, där modeller som presterar bra på strukturerade utvärderingar ofta kämpar med uppgifter som kräver genuint arkitektoniskt resonemang eller fullständig programkonstruktion från grunden. OpenAI har ännu inte namngivit ett ersättningsbenchmark, vilket lämnar fältet utan en konsensusstandard för att mäta framsteg inom kodning.tianpan+1