OpenAI dregur til baka meðmæli með SWE-Bench Pro eftir að úttekt leiddi í ljós að 30% verkefna eru gölluð

OpenAI tilkynnti á þriðjudag að þeir væru að draga til baka meðmæli sín með SWE-Bench Pro sem áreiðanlegan mælikvarða á forritunargetu gervigreindar. Þeir vísa til innri úttektar sem leiddi í ljós að um 30% verkefna í viðmiðunarprófinu eru gölluð og að hávaðaþak upp á um 70% dragi úr notagildi þess við mat á fremstu gerðum gervigreindarlíkana.x+1

Mynstur í rýrnun viðmiðunarprófa

Þessi afturköllun markar annað skiptið á innan við sex mánuðum sem OpenAI hverfur frá mikilvægu mati á forritunargetu. Í febrúar 2026 hætti fyrirtækið að birta einkunnir fyrir SWE-bench Verified — viðmiðunarpróf sem þeir hjálpuðu til við að búa til árið 2024 — eftir að hafa komist að því að 59,4% af úttektarverkefnum innihéldu gallaðar prófanir og að mengun í þjálfunargögnum hefði gert einkunnirnar marklausar.openai+1

Á þeim tíma benti OpenAI rannsakendum á SWE-Bench Pro, erfiðara viðmiðunarpróf þróað af Scale AI sem samanstendur af 1.865 langtíma hugbúnaðarverkefnum í 41 faglegum gagnageymslum. Viðmiðunarprófið var hannað til að standast þau mengunarvandamál sem hrjáðu forvera þess, og fremstu gerðir gervigreindarlíkana fengu upphaflega aðeins um 23% einkunn í því.morphllm+3

Hröð mettun

En einkunnir hækkuðu hratt. Í lok júní 2026 náði Claude Opus 4.8 69,2% í samræmdum prófunum og GPT-5.4 (xHigh) fékk 59,1% í stöðluðu opinberu setti Scale. Úttekt OpenAI kemst nú að þeirri niðurstöðu að einkunnir á þessu bili endurspegli ekki lengur raunverulegan mun á getu milli líkana — þær endurspegla frekar takmarkanir viðmiðunarprófsins sjálfs, þar á meðal gallaðar verkefnalýsingar og hávaðasama prófunarinnviði.morphllm+3

Fyrirtækið kallaði SWE-Bench Pro „eitt af mest notuðu viðmiðunarprófunum fyrir forritun gervigreindar“ og hvatti rannsóknarsamfélagið til að færa sig yfir í nýjar matsaðferðir.digg+1

Víðtækari áhrif

Tilkynningin eykur á vaxandi trúnaðarbrest gagnvart mati á forritunargetu gervigreindar. Rannsakendur hafa bent á að bilið á milli árangurs í viðmiðunarprófum og raunverulegrar hugbúnaðarverkfræði sé enn mikið, þar sem líkön sem skora vel í skipulögðu mati eiga oft í erfiðleikum með verkefni sem krefjast raunverulegrar arkitektúrsröksemdar eða smíði heilla forrita frá grunni. OpenAI hefur ekki enn nefnt viðmiðunarpróf í staðinn, sem skilur sviðið eftir án samræmds staðals til að mæla framfarir í forritunargetu gervigreindar.tianpan+1