OpenAI-მა SWE-Bench Pro-ს რეკომენდაცია გააუქმა მას შემდეგ, რაც აუდიტმა დაადგინა, რომ დავალებების 30% გაუმართავია

OpenAI-მ სამშაბათს განაცხადა, რომ აუქმებს SWE-Bench Pro-ს რეკომენდაციას, როგორც ხელოვნური ინტელექტის პროგრამირების შესაძლებლობების საიმედო საზომს. მიზეზად დასახელდა შიდა აუდიტი, რომელმაც აჩვენა, რომ ბენჩმარკის დავალებების დაახლოებით 30% გაუმართავია, ხოლო დაახლოებით 70%-იანი „ხმაურის ზღვარი“ ამცირებს მის სარგებლიანობას მოწინავე მოდელების შეფასებისთვის.x+1

ბენჩმარკის ეროზიის ნიმუში

ეს უკან დახევა მეორე შემთხვევაა ექვს თვეზე ნაკლებ დროში, როდესაც OpenAI უარს ამბობს პროგრამირების შეფასების მნიშვნელოვან ინსტრუმენტზე. 2026 წლის თებერვალში კომპანიამ შეწყვიტა SWE-bench Verified-ის ქულების გამოქვეყნება — ბენჩმარკი, რომლის შექმნაშიც თავად მონაწილეობდა 2024 წელს — მას შემდეგ, რაც დაადგინა, რომ აუდიტირებული დავალებების 59,4% შეიცავდა ხარვეზიან სატესტო შემთხვევებს, ხოლო საწვრთნელი მონაცემების დაბინძურებამ ქულები უაზრო გახადა.openai+1

იმ დროს OpenAI-მ მკვლევრებს მიუთითა SWE-Bench Pro-ზე, უფრო რთულ ბენჩმარკზე, რომელიც შემუშავებულია Scale AI-ს მიერ და მოიცავს 1 865 გრძელვადიან პროგრამული უზრუნველყოფის საინჟინრო დავალებას 41 პროფესიონალურ რეპოზიტორში. ბენჩმარკი შეიქმნა იმისთვის, რომ წინააღმდეგობა გაეწია დაბინძურების პრობლემებისთვის, რაც მის წინამორბედს აწუხებდა, და მოწინავე მოდელები თავდაპირველად მასზე მხოლოდ 23%-ს აღწევდნენ.morphllm+3

სწრაფი გაჯერება

თუმცა ქულები სწრაფად გაიზარდა. 2026 წლის ივნისის ბოლოსთვის Claude Opus 4.8-მა მიაღწია 69,2%-ს გამყიდველთა აგრეგირებულ სისტემებზე, ხოლო GPT-5.4 (xHigh)-მა 59,1% დააფიქსირა Scale-ის სტანდარტიზებულ საჯარო კომპლექტზე. OpenAI-ს აუდიტი ახლა ასკვნის, რომ ამ დიაპაზონის ქულები აღარ ასახავს მოდელებს შორის შესაძლებლობების რეალურ განსხვავებებს — ისინი ნაცვლად ამისა ასახავენ თავად ბენჩმარკის შეზღუდვებს, მათ შორის გაუმართავ დავალებების სპეციფიკაციებს და ხმაურიან სატესტო ინფრასტრუქტურას.morphllm+3

კომპანიამ SWE-Bench Pro უწოდა „ხელოვნური ინტელექტის პროგრამირების ერთ-ერთ ყველაზე ფართოდ გამოყენებად ბენჩმარკს“ და მოუწოდა კვლევით საზოგადოებას, გადავიდნენ შეფასების ახალ მეთოდებზე.digg+1

უფრო ფართო შედეგები

ეს განცხადება ამძაფრებს ხელოვნური ინტელექტის პროგრამირების შეფასებების მიმართ ნდობის მზარდ კრიზისს. მკვლევრებმა აღნიშნეს, რომ ბენჩმარკის შედეგებსა და რეალურ პროგრამულ ინჟინერიას შორის უფსკრული კვლავ დიდია; მოდელები, რომლებიც კარგად ასრულებენ სტრუქტურირებულ შეფასებებს, ხშირად უჭირთ ისეთი დავალებების შესრულება, რომლებიც მოითხოვს ნამდვილ არქიტექტურულ აზროვნებას ან პროგრამის ნულიდან სრულად აწყობას. OpenAI-ს ჯერ არ დაუსახელებია შემცვლელი ბენჩმარკი, რაც დარგს ტოვებს მოწინავე პროგრამირების პროგრესის გაზომვის კონსენსუსური სტანდარტის გარეშე.tianpan+1