Η OpenAI αποσύρει τη σύσταση για το SWE-Bench Pro μετά από έλεγχο που διαπίστωσε ότι το 30% των εργασιών είναι ελαττωματικό

Η OpenAI ανακοίνωσε την Τρίτη ότι αποσύρει τη σύστασή της για το SWE-Bench Pro ως αξιόπιστο μέτρο της ικανότητας προγραμματισμού της τεχνητής νοημοσύνης, επικαλούμενη έναν εσωτερικό έλεγχο που διαπίστωσε ότι περίπου το 30% των εργασιών του benchmark είναι ελαττωματικό και ότι υπάρχει ένα ανώτατο όριο θορύβου περίπου 70%, το οποίο υπονομεύει τη χρησιμότητά του για την αξιολόγηση μοντέλων αιχμής.x+1

Ένα μοτίβο διάβρωσης των benchmarks

Η απόσυρση σηματοδοτεί τη δεύτερη φορά σε λιγότερο από έξι μήνες που η OpenAI απομακρύνεται από μια σημαντική αξιολόγηση προγραμματισμού. Τον Φεβρουάριο του 2026, η εταιρεία σταμάτησε να αναφέρει βαθμολογίες στο SWE-bench Verified — ένα benchmark που βοήθησε να δημιουργηθεί το 2024 — αφού διαπίστωσε ότι το 59,4% των ελεγμένων εργασιών περιείχε ελαττωματικές περιπτώσεις δοκιμών και ότι η μόλυνση των δεδομένων εκπαίδευσης είχε καταστήσει τις βαθμολογίες άνευ νοήματος.openai+1

Εκείνη την εποχή, η OpenAI υπέδειξε στους ερευνητές το SWE-Bench Pro, ένα δυσκολότερο benchmark που αναπτύχθηκε από την Scale AI και περιλαμβάνει 1.865 εργασίες μηχανικής λογισμικού μακροπρόθεσμου ορίζοντα σε 41 επαγγελματικά αποθετήρια. Το benchmark σχεδιάστηκε για να αντισταθεί στα προβλήματα μόλυνσης που ταλαιπωρούσαν τον προκάτοχό του, και τα κορυφαία μοντέλα αιχμής αρχικά σημείωσαν μόνο περίπου 23% σε αυτό.morphllm+3

Ταχεία κορεσμός

Ωστόσο, οι βαθμολογίες αυξήθηκαν γρήγορα. Μέχρι τα τέλη Ιουνίου 2026, το Claude Opus 4.8 έφτασε το 69,2% σε συγκεντρωτικά συστήματα προμηθευτών και το GPT-5.4 (xHigh) σημείωσε 59,1% στο τυποποιημένο δημόσιο σύνολο της Scale. Ο έλεγχος της OpenAI καταλήγει τώρα στο συμπέρασμα ότι οι βαθμολογίες σε αυτό το εύρος δεν αντικατοπτρίζουν πλέον πραγματικές διαφορές ικανότητας μεταξύ των μοντέλων — αντικατοπτρίζουν αντ' αυτού τους περιορισμούς του ίδιου του benchmark, συμπεριλαμβανομένων των ελαττωματικών προδιαγραφών εργασιών και της θορυβώδους υποδομής δοκιμών.morphllm+3

Η εταιρεία χαρακτήρισε το SWE-Bench Pro ως "ένα από τα πιο ευρέως χρησιμοποιούμενα benchmarks προγραμματισμού AI" και προέτρεψε την ερευνητική κοινότητα να στραφεί προς νέες μεθόδους αξιολόγησης.digg+1

Ευρύτερες επιπτώσεις

Η ανακοίνωση εντείνει μια αυξανόμενη κρίση εμπιστοσύνης στις αξιολογήσεις προγραμματισμού AI. Οι ερευνητές έχουν σημειώσει ότι το χάσμα μεταξύ της απόδοσης στα benchmarks και της πραγματικής μηχανικής λογισμικού παραμένει μεγάλο, με τα μοντέλα που βαθμολογούνται καλά σε δομημένες αξιολογήσεις να δυσκολεύονται συχνά σε εργασίες που απαιτούν γνήσια αρχιτεκτονική σκέψη ή κατασκευή πλήρους προγράμματος από το μηδέν. Η OpenAI δεν έχει ορίσει ακόμη ένα benchmark αντικατάστασης, αφήνοντας τον τομέα χωρίς ένα πρότυπο συναίνεσης για τη μέτρηση της προόδου στον προγραμματισμό αιχμής.tianpan+1