Claude Fable 5 frá Anthropic í efsta sæti á endurnýjuðum Android Bench hjá Google

Google Alphabet Inc. ↘ 2.20% kynnti á þriðjudaginn mikla uppfærslu á Android Bench, stigatöflu sinni til að meta hversu vel gervigreindarlíkön takast á við raunveruleg Android þróunarverkefni. Uppfærslan bætir átta nýjum líkönum við röðunina — með Claude Fable 5 frá Anthropic í fararbroddi, sem náði efsta sætinu með 84,5 prósenta nákvæmni — og flytur undirliggjandi umhverfi viðmiðsins yfir í nýtt kerfi sem heitir Harbor.developer.android+1

Ný stigatafla tekur á sig mynd

Uppfærða stigataflan, sem birt var 8. júlí, sýnir Claude Fable 5 í 1. sæti, fylgt eftir af GPT 5.5 frá OpenAI með 80,2 prósent og Claude Sonnet 5 með 76,2 prósent. Gemini 3.1 Pro Preview frá Google lenti í fimmta sæti með 73,7 prósent og dróst einnig aftur úr GPT 5.4. Önnur nýlega bætt líkön eru Qwen 3.7 Max, Qwen 3.7 Plus, GLM 5.2, Kimi K2.7 Code og MiniMax M3.developer.android

Niðurstöðurnar halda áfram mynstri sem fyrst var tekið eftir í maí, þegar GPT 5.5 var efst á stigatöflunni og Gemini dróst aftur úr líkönum OpenAI um u.þ.b. tvö prósentustig. Með Fable 5 nú í blöndunni hefur bilið á toppnum breikkað enn frekar. Líkanið, sem Anthropic gaf út í júní, hefur skilað leiðandi einkunnum í mörgum kóðunarviðmiðum, þar á meðal 80,3 prósent í SWE-Bench Pro.atlascloud+2

Breytingar á aðferðafræði og opnar framlög

Fyrir utan að bæta við líkönum flutti Google Android Bench umhverfið yfir í Harbor, sem það lýsti sem kerfi sem gerir kleift að framkvæma erfiðari, raunverulegar gervigreindar-rökhugsunarprófanir. Viðmiðið metur líkön í gegnum 100 prófunartilvik sem keyrð eru 10 sinnum hvert, þar sem ekki er aðeins mæld nákvæmni heldur einnig leynd og kostnaður á hverja keyrslu — víddir sem Google kynnti fyrst í maí.x+2

Google gaf einnig til kynna að forritarar geti nú lagt beint til viðmiðsins, breyting sem gæti breikkað úrval Android-sértækra kóðunaráskorana sem notaðar eru til að prófa líkön. Nokkur eldri líkön, þar á meðal Claude Opus 4.6, Claude Sonnet 4.5 og fyrri GPT afbrigði, voru færð í skjalasafn við uppfærsluna.developer.android+1

Hvað röðunin leiðir í ljós

Kostnaðar- og hraðagögnin í nýju stigatöflunni bjóða upp á hagnýtt sjónarhorn umfram hráa nákvæmni. Deepseek V4 Flash, til dæmis, fær hóflega 54,7 prósent en kostar aðeins 1,50 dollara á hverja viðmiðunarkeyrslu, á meðan efsta einkunn Claude Fable 5 kostar 133,20 dollara á keyrslu. Málamiðlanirnar undirstrika þá valkosti sem Android forritarar standa frammi fyrir eftir því sem gervigreindaraðstoðuð kóðunarverkfæri verða samþætt í daglegum vinnuferlum — og eftir því sem eigin líkön Google halda áfram að elta keppinauta frá Anthropic og OpenAI á því viðmiði sem Google byggði sjálft.developer.android