Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
All voices matter
benchmarking
OpenAI trekker tilbake anbefaling av SWE-Bench Pro etter at revisjon fant at 30 % av oppgavene er ødelagte
OpenAI kunngjorde tirsdag at de trekker tilbake sin anbefaling av SWE-Bench Pro som et pålitelig mål for AI-kodingsevner. De viser til en intern revisjon som fant at omtrent 30 % av benchmarkens oppgaver er ødelagte, og at det finnes et…