OpenAI vetää pois SWE-Bench Pro -suosituksensa auditoinnin paljastettua 30 % tehtävistä viallisiksi

OpenAI ilmoitti tiistaina vetävänsä pois suosituksensa SWE-Bench Prosta luotettavana tekoälyn koodauskyvyn mittarina. Syynä on sisäinen auditointi, joka totesi noin 30 % benchmarkin tehtävistä viallisiksi, sekä noin 70 % kohinakatot, jotka heikentävät sen hyödyllisyyttä huippumallien arvioinnissa.x+1

Benchmark-eroosion kaava

Tämä on toinen kerta alle kuudessa kuukaudessa, kun OpenAI luopuu merkittävästä koodausarvioinnista. Helmikuussa 2026 yhtiö lopetti tulosten raportoinnin SWE-bench Verifiedista — benchmarkista, jonka luomisessa se oli mukana vuonna 2024 — havaittuaan, että 59,4 % auditoiduista tehtävistä sisälsi virheellisiä testitapauksia ja että koulutusdatan saastuminen oli tehnyt tuloksista merkityksettömiä.openai+1

Tuolloin OpenAI ohjasi tutkijat SWE-Bench Pron pariin. Se on Scale AI:n kehittämä vaativampi benchmark, joka sisältää 1 865 pitkän aikavälin ohjelmistotekniikan tehtävää 41 ammattimaisessa arkistossa. Benchmark suunniteltiin kestämään edeltäjäänsä vaivanneet saastumisongelmat, ja parhaat huippumallit saivat siitä aluksi vain noin 23 %:n tuloksen.morphllm+3

Nopea saturaatio

Tulokset kuitenkin nousivat nopeasti. Kesäkuun 2026 loppuun mennessä Claude Opus 4.8 saavutti 69,2 % toimittajien yhdistetyissä testeissä ja GPT-5.4 (xHigh) sai 59,1 % Scalen standardoidussa julkisessa sarjassa. OpenAI:n auditointi päättelee nyt, että tämän alueen tulokset eivät enää heijasta mallien välisiä todellisia kyvykkyyseroja — ne heijastavat sen sijaan benchmarkin omia rajoituksia, mukaan lukien rikkoutuneet tehtävämäärittelyt ja kohinainen testausinfrastruktuuri.morphllm+3

Yhtiö kutsui SWE-Bench Prota "yhdeksi laajimmin käytetyistä tekoälyn koodausbenchmarkeista" ja kehotti tutkimusyhteisöä siirtymään kohti uusia arviointimenetelmiä.digg+1

Laajemmat seuraukset

Ilmoitus syventää kasvavaa luottamuspulaa tekoälyn koodausarviointeja kohtaan. Tutkijat ovat huomauttaneet, että kuilu benchmark-suorituskyvyn ja todellisen ohjelmistotekniikan välillä on edelleen suuri. Mallit, jotka pärjäävät hyvin strukturoiduissa arvioinneissa, kamppailevat usein tehtävissä, jotka vaativat aitoa arkkitehtuurista päättelyä tai kokonaisten ohjelmien rakentamista tyhjästä. OpenAI ei ole vielä nimennyt korvaavaa benchmarkia, mikä jättää alan ilman konsensusstandardia huipputason koodauksen edistymisen mittaamiseen.tianpan+1