Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
All voices matter
benchmarking
OpenAI vetää pois SWE-Bench Pro -suosituksensa auditoinnin paljastettua 30 % tehtävistä viallisiksi
OpenAI ilmoitti tiistaina vetävänsä pois suosituksensa SWE-Bench Prosta luotettavana tekoälyn koodauskyvyn mittarina. Syynä on sisäinen auditointi, joka totesi noin 30 % benchmarkin tehtävistä viallisiksi, sekä noin 70 % kohinakatot, jotka heikentävät sen hyödyllisyyttä huippumallien arvioinnissa.