OpenAI trekker tilbake anbefaling av SWE-Bench Pro etter at revisjon fant at 30 % av oppgavene er ødelagte

OpenAI kunngjorde tirsdag at de trekker tilbake sin anbefaling av SWE-Bench Pro som et pålitelig mål for AI-kodingsevner. De viser til en intern revisjon som fant at omtrent 30 % av benchmarkens oppgaver er ødelagte, og at det finnes et støytak på rundt 70 % som undergraver nytten for evaluering av grensesprengende modeller.x+1

Et mønster av benchmark-erosjon

Tilbaketrekkingen markerer andre gang på under seks måneder at OpenAI har gått bort fra en stor kodeevaluering. I februar 2026 sluttet selskapet å rapportere resultater for SWE-bench Verified – en benchmark de var med på å skape i 2024 – etter å ha funnet at 59,4 % av de reviderte oppgavene inneholdt mangelfulle testtilfeller, og at kontaminering av treningsdata hadde gjort resultatene meningsløse.openai+1

På det tidspunktet henviste OpenAI forskere til SWE-Bench Pro, en vanskeligere benchmark utviklet av Scale AI som består av 1 865 programvareingeniøroppgaver med lang tidshorisont på tvers av 41 profesjonelle arkiver. Benchmarken var designet for å motstå kontamineringsproblemene som plaget forgjengeren, og de beste modellene scoret i starten bare rundt 23 % på den.morphllm+3

Rask metning

Men resultatene steg raskt. Innen slutten av juni 2026 nådde Claude Opus 4.8 69,2 % på leverandøraggregerte tester, og GPT-5.4 (xHigh) scoret 59,1 % på Scales standardiserte offentlige sett. OpenAI sin revisjon konkluderer nå med at resultater i dette området ikke lenger reflekterer reelle forskjeller i evner mellom modeller – de reflekterer i stedet benchmarkens egne begrensninger, inkludert ødelagte oppgavespesifikasjoner og støyende testinfrastruktur.morphllm+3

Selskapet kalte SWE-Bench Pro «en av de mest brukte AI-kodebenchmarkene» og oppfordret forskningsmiljøet til å gå over til nye evalueringsmetoder.digg+1

Bredere implikasjoner

Kunngjøringen forsterker en voksende tillitskrise innen AI-kodeevalueringer. Forskere har bemerket at gapet mellom benchmark-ytelse og programvareutvikling i den virkelige verden forblir stort, der modeller som scorer bra på strukturerte evalueringer ofte sliter med oppgaver som krever ekte arkitektonisk resonnering eller fullstendig programkonstruksjon fra bunnen av. OpenAI har ennå ikke navngitt en erstatningsbenchmark, noe som etterlater feltet uten en konsensusstandard for å måle fremgang innen koding.tianpan+1