„OpenAI“ atšaukia „SWE-Bench Pro“ rekomendaciją, auditui nustačius, kad 30 % užduočių yra neveikiančios

„OpenAI“ antradienį paskelbė, kad atšaukia „SWE-Bench Pro“ kaip patikimo dirbtinio intelekto programavimo gebėjimų matavimo įrankio rekomendaciją. Bendrovė nurodė, kad vidinis auditas parodė, jog maždaug 30 % šios sistemos užduočių yra neveikiančios, o maždaug 70 % siekianti „triukšmo riba“ mažina jos naudingumą vertinant pažangiausius modelius.x+1

Vertinimo sistemų erozijos tendencija

Šis atšaukimas yra jau antras kartas per mažiau nei šešis mėnesius, kai „OpenAI“ atsisako svarbaus programavimo vertinimo įrankio. 2026 m. vasario mėn. bendrovė nustojo skelbti „SWE-bench Verified“ – vertinimo sistemos, prie kurios kūrimo 2024 m. pati prisidėjo – rezultatus, nustačiusi, kad 59,4 % audituotų užduočių turėjo ydingus testavimo atvejus, o mokymo duomenų užterštumas padarė rezultatus beverčius.openai+1

Tuomet „OpenAI“ nukreipė tyrėjus į „SWE-Bench Pro“ – sudėtingesnį „Scale AI“ sukurtą vertinimo įrankį, kurį sudaro 1 865 ilgalaikės programinės įrangos inžinerijos užduotys 41 profesionalioje saugykloje. Ši sistema buvo sukurta siekiant išvengti užterštumo problemų, kurios kamavo jos pirmtakę, o geriausi pažangiausi modeliai iš pradžių joje surinkdavo tik apie 23 %.morphllm+3

Spartus prisotinimas

Tačiau rezultatai sparčiai kilo. Iki 2026 m. birželio pabaigos „Claude Opus 4.8“ pasiekė 69,2 % „Scale“ tiekėjų apibendrintose sistemose, o „GPT-5.4 (xHigh)“ surinko 59,1 % „Scale“ standartizuotame viešajame rinkinyje. „OpenAI“ auditas dabar daro išvadą, kad šio diapazono rezultatai nebeatspindi tikrųjų modelių gebėjimų skirtumų – jie veikiau atspindi pačios vertinimo sistemos apribojimus, įskaitant neveikiančias užduočių specifikacijas ir triukšmingą testavimo infrastruktūrą.morphllm+3

Bendrovė pavadino „SWE-Bench Pro“ „viena plačiausiai naudojamų DI programavimo vertinimo sistemų“ ir paragino mokslininkų bendruomenę pereiti prie naujų vertinimo metodų.digg+1

Platesnės pasekmės

Šis pranešimas sustiprina augančią pasitikėjimo DI programavimo vertinimais krizę. Tyrėjai pažymėjo, kad atotrūkis tarp rezultatų vertinimo sistemose ir realaus programinės įrangos inžinerijos darbo išlieka didelis, o modeliai, kurie gerai pasirodo struktūrizuotuose vertinimuose, dažnai susiduria su sunkumais atliekant užduotis, reikalaujančias tikro architektūrinio mąstymo ar visos programos kūrimo nuo nulio. „OpenAI“ dar nepateikė pakaitinės vertinimo sistemos, todėl šioje srityje nėra bendro sutarimo dėl pažangos matavimo standartų.tianpan+1