benchmarking

OpenAI, denetimin görevlerin %30’unun hatalı olduğunu ortaya çıkarmasının ardından SWE-Bench Pro önerisini geri çekti

OpenAI Salı günü yaptığı açıklamada, iç denetimin kıyaslama görevlerinin yaklaşık %30'unun hatalı olduğunu ve yaklaşık %70'lik bir gürültü tavanının sınır modellerini değerlendirmek için faydasını baltaladığını ortaya koyması üzerine, SWE-Bench Pro'yu yapay zeka kodlama yeteneğinin güvenilir bir ölçüsü olarak önerdiğini geri…