OpenAI stahuje doporučení pro SWE-Bench Pro poté, co audit zjistil, že 30 % úloh je nefunkčních

Společnost OpenAI v úterý oznámila, že stahuje své doporučení pro SWE-Bench Pro jako spolehlivé měřítko schopností AI v programování. Jako důvod uvedla interní audit, který zjistil, že přibližně 30 % úloh benchmarku je nefunkčních a že existuje „strop šumu“ kolem 70 %, což podkopává jeho užitečnost pro hodnocení špičkových modelů.x+1

Vzor eroze benchmarků

Toto stažení představuje již podruhé za méně než šest měsíců, kdy OpenAI opustila významné hodnocení programování. V únoru 2026 společnost přestala vykazovat skóre u SWE-bench Verified – benchmarku, na jehož vytvoření se v roce 2024 podílela – poté, co zjistila, že 59,4 % auditovaných úloh obsahovalo chybné testovací případy a že kontaminace tréninkových dat učinila skóre bezvýznamným.openai+1

V té době OpenAI odkázala výzkumníky na SWE-Bench Pro, náročnější benchmark vyvinutý společností Scale AI, který zahrnuje 1 865 dlouhodobých úloh softwarového inženýrství napříč 41 profesionálními repozitáři. Benchmark byl navržen tak, aby odolal problémům s kontaminací, které sužovaly jeho předchůdce, a špičkové modely v něm zpočátku dosahovaly pouze kolem 23 %.morphllm+3

Rychlá saturace

Skóre však rychle rostlo. Do konce června 2026 dosáhl Claude Opus 4.8 69,2 % v agregovaných testech dodavatelů a GPT-5.4 (xHigh) skóroval 59,1 % ve standardizované veřejné sadě Scale. Audit OpenAI nyní dochází k závěru, že skóre v tomto rozsahu již neodráží skutečné rozdíly ve schopnostech mezi modely – místo toho odrážejí omezení samotného benchmarku, včetně nefunkčních specifikací úloh a zašuměné testovací infrastruktury.morphllm+3

Společnost označila SWE-Bench Pro za „jeden z nejpoužívanějších benchmarků pro programování AI“ a vyzvala výzkumnou komunitu, aby přešla k novým metodám hodnocení.digg+1

Širší důsledky

Oznámení prohlubuje rostoucí krizi důvěry v hodnocení programování AI. Výzkumníci poznamenali, že propast mezi výkonem v benchmarcích a reálným softwarovým inženýrstvím zůstává široká, přičemž modely, které dosahují dobrých výsledků ve strukturovaných hodnoceních, často selhávají u úloh vyžadujících skutečné architektonické uvažování nebo tvorbu celého programu od nuly. OpenAI zatím nejmenovala náhradní benchmark, čímž ponechala obor bez konsenzuálního standardu pro měření pokroku v programování.tianpan+1