OpenAI-ը հետ է կանչում SWE-Bench Pro-ի իր առաջարկությունը՝ աուդիտի արդյունքում խնդիրների 30%-ի անսարք լինելը պարզելուց հետո

OpenAI-ը երեքշաբթի օրը հայտարարեց, որ հետ է կանչում SWE-Bench Pro-ի իր առաջարկությունը՝ որպես AI-ի ծրագրավորման կարողությունների հուսալի չափանիշ՝ վկայակոչելով ներքին աուդիտը, որը պարզել է, որ բենչմարկի առաջադրանքների մոտ 30%-ը անսարք են, իսկ մոտ 70%-ի «աղմուկի շեմը» խաթարում է դրա օգտակարությունը սահմանային մոդելների գնահատման համար:x+1

Բենչմարկի էրոզիայի օրինաչափություն

Այս հետկանչը վեց ամսվա ընթացքում երկրորդ դեպքն է, երբ OpenAI-ը հեռանում է ծրագրավորման գնահատման հիմնական գործիքից։ 2026 թվականի փետրվարին ընկերությունը դադարեցրեց SWE-bench Verified-ի միավորների հրապարակումը՝ մի բենչմարկ, որի ստեղծմանը ինքն էր օգնել 2024 թվականին, այն բանից հետո, երբ պարզվեց, որ աուդիտի ենթարկված առաջադրանքների 59,4%-ը պարունակում է թերի թեստային դեպքեր, իսկ ուսումնական տվյալների աղտոտումը միավորները դարձրել է անիմաստ:openai+1

Այդ ժամանակ OpenAI-ը հետազոտողներին ուղղորդեց դեպի SWE-Bench Pro՝ Scale AI-ի կողմից մշակված ավելի բարդ բենչմարկ, որը ներառում է 1865 երկարաժամկետ ծրագրային ապահովման ինժեներական առաջադրանքներ 41 պրոֆեսիոնալ պահոցներում։ Բենչմարկը նախագծվել էր՝ հակազդելու աղտոտման խնդիրներին, որոնք տանջում էին իր նախորդին, և լավագույն սահմանային մոդելները սկզբում դրա վրա հավաքում էին ընդամենը մոտ 23%:morphllm+3

Արագ հագեցվածություն

Սակայն միավորները արագ աճեցին։ 2026 թվականի հունիսի վերջին Claude Opus 4.8-ը հասավ 69,2%-ի վաճառողների ագրեգացված համակարգերում, իսկ GPT-5.4 (xHigh)-ը գրանցեց 59,1% Scale-ի ստանդարտացված հանրային հավաքածուում։ OpenAI-ի աուդիտն այժմ եզրակացնում է, որ այս միջակայքի միավորներն այլևս չեն արտացոլում մոդելների միջև կարողությունների իրական տարբերությունները. դրանք փոխարենը արտացոլում են բենչմարկի սեփական սահմանափակումները, ներառյալ առաջադրանքների անսարք բնութագրերը և աղմկոտ թեստային ենթակառուցվածքը:morphllm+3

Ընկերությունը SWE-Bench Pro-ն անվանեց «AI-ի ծրագրավորման ամենալայն կիրառվող բենչմարկներից մեկը» և հետազոտական համայնքին կոչ արեց անցնել գնահատման նոր մեթոդների:digg+1

Ավելի լայն հետևանքներ

Այս հայտարարությունը սրում է AI-ի ծրագրավորման գնահատումների նկատմամբ վստահության աճող ճգնաժամը։ Հետազոտողները նշել են, որ բենչմարկի արդյունքների և իրական ծրագրային ինժեներիայի միջև եղած անդունդը մնում է մեծ. մոդելները, որոնք լավ են հանդես գալիս կառուցվածքային գնահատումներում, հաճախ դժվարանում են այնպիսի առաջադրանքների կատարման ժամանակ, որոնք պահանջում են իրական ճարտարապետական մտածողություն կամ ծրագրի ամբողջական կառուցում զրոյից։ OpenAI-ը դեռ չի նշել փոխարինող բենչմարկ, ինչը ոլորտը թողնում է առանց սահմանային ծրագրավորման առաջընթացը չափելու կոնսենսուսային ստանդարտի:tianpan+1