Το Claude Fable 5 της Anthropic στην κορυφή του ανανεωμένου Android Bench της Google

Η Google Alphabet Inc. ↘ 2.20% παρουσίασε την Τρίτη μια σημαντική ενημέρωση του Android Bench, του πίνακα κατάταξης για την αξιολόγηση της ικανότητας των μοντέλων τεχνητής νοημοσύνης να διαχειρίζονται εργασίες ανάπτυξης εφαρμογών Android σε πραγματικές συνθήκες. Η ανανέωση προσθέτει οκτώ νέα μοντέλα στην κατάταξη — με επικεφαλής το Claude Fable 5 της Anthropic, το οποίο κατέλαβε την πρώτη θέση με ποσοστό ακρίβειας 84,5% — και μεταφέρει το υποκείμενο πλαίσιο του benchmark σε ένα νέο σύστημα που ονομάζεται Harbor.developer.android+1

Διαμορφώνεται ένας νέος πίνακας κατάταξης

Ο ενημερωμένος πίνακας κατάταξης, που δημοσιεύθηκε στις 8 Ιουλίου, παρουσιάζει το Claude Fable 5 στο Νο 1, ακολουθούμενο από το GPT 5.5 της OpenAI με 80,2% και το Claude Sonnet 5 με 76,2%. Το Gemini 3.1 Pro Preview της ίδιας της Google κατέλαβε την πέμπτη θέση με 73,7%, υπολειπόμενο επίσης του GPT 5.4. Άλλα μοντέλα που προστέθηκαν πρόσφατα περιλαμβάνουν τα Qwen 3.7 Max, Qwen 3.7 Plus, GLM 5.2, Kimi K2.7 Code και MiniMax M3.developer.android

Τα αποτελέσματα συνεχίζουν ένα μοτίβο που παρατηρήθηκε για πρώτη φορά τον Μάιο, όταν το GPT 5.5 βρέθηκε στην κορυφή του πίνακα κατάταξης και το Gemini υπολειπόταν των μοντέλων της OpenAI κατά περίπου δύο ποσοστιαίες μονάδες. Με το Fable 5 πλέον στο παιχνίδι, το χάσμα στην κορυφή έχει διευρυνθεί περαιτέρω. Το μοντέλο, που κυκλοφόρησε από την Anthropic τον Ιούνιο, έχει καταγράψει κορυφαίες βαθμολογίες σε πολλαπλά benchmarks προγραμματισμού, συμπεριλαμβανομένου ενός 80,3% στο SWE-Bench Pro.atlascloud+2

Αλλαγές στη μεθοδολογία και ανοιχτές συνεισφορές

Πέρα από την προσθήκη μοντέλων, η Google μετέφερε το πλαίσιο Android Bench στο Harbor, το οποίο, όπως περιέγραψε, επιτρέπει πιο σκληρές δοκιμές συλλογιστικής τεχνητής νοημοσύνης σε πραγματικές συνθήκες. Το benchmark αξιολογεί τα μοντέλα σε 100 περιπτώσεις δοκιμών που εκτελούνται 10 φορές η καθεμία, μετρώντας όχι μόνο την ακρίβεια αλλά και την καθυστέρηση (latency) και το κόστος ανά εκτέλεση — διαστάσεις που η Google εισήγαγε για πρώτη φορά τον Μάιο.x+2

Η Google ανέφερε επίσης ότι οι προγραμματιστές μπορούν πλέον να συνεισφέρουν απευθείας στο benchmark, μια αλλαγή που θα μπορούσε να διευρύνει το φάσμα των προκλήσεων προγραμματισμού ειδικά για Android που χρησιμοποιούνται για τον έλεγχο των μοντέλων. Αρκετά παλαιότερα μοντέλα, συμπεριλαμβανομένων των Claude Opus 4.6, Claude Sonnet 4.5 και προγενέστερων εκδόσεων του GPT, αρχειοθετήθηκαν κατά την ενημέρωση.developer.android+1

Τι αποκαλύπτει η κατάταξη

Τα δεδομένα κόστους και ταχύτητας στον νέο πίνακα κατάταξης προσφέρουν μια πρακτική οπτική πέρα από την καθαρή ακρίβεια. Το Deepseek V4 Flash, για παράδειγμα, συγκεντρώνει ένα μέτριο 54,7%, αλλά κοστίζει μόλις 1,50 δολάρια ανά εκτέλεση benchmark, ενώ η κορυφαία βαθμολογία του Claude Fable 5 κοστίζει 133,20 δολάρια ανά εκτέλεση. Οι συμβιβασμοί αυτοί υπογραμμίζουν τις επιλογές που αντιμετωπίζουν οι προγραμματιστές Android καθώς τα εργαλεία προγραμματισμού με υποβοήθηση τεχνητής νοημοσύνης ενσωματώνονται στις καθημερινές ροές εργασίας — και καθώς τα μοντέλα της ίδιας της Google συνεχίζουν να κυνηγούν τους ανταγωνιστές τους από την Anthropic και την OpenAI στο benchmark που δημιούργησε η ίδια η Google.developer.android