Anthropics Claude Fable 5 topper Googles fornyede Android Bench

Google Alphabet Inc. ↘ 2.20% rullet tirsdag ut en stor oppdatering til Android Bench, deres ledertavle for å evaluere hvor godt AI-modeller håndterer virkelige Android-utviklingsoppgaver. Oppdateringen legger til åtte nye modeller i rangeringen – med Anthropics Claude Fable 5 i spissen, som tok førsteplassen med en nøyaktighetsskåre på 84,5 prosent – og migrerer benchmarkens underliggende rammeverk til et nytt system kalt Harbor.developer.android+1

En ny ledertavle tar form

Den oppdaterte ledertavlen, publisert 8. juli, har Claude Fable 5 på 1. plass, etterfulgt av OpenAIs GPT 5.5 på 80,2 prosent og Claude Sonnet 5 på 76,2 prosent. Googles egen Gemini 3.1 Pro Preview havnet på femteplass med 73,7 prosent, og lå også bak GPT 5.4. Andre nylig tilføyde modeller inkluderer Qwen 3.7 Max, Qwen 3.7 Plus, GLM 5.2, Kimi K2.7 Code og MiniMax M3.developer.android

Resultatene fortsetter et mønster som først ble notert i mai, da GPT 5.5 toppet ledertavlen og Gemini lå bak OpenAIs modeller med omtrent to prosentpoeng. Med Fable 5 nå i miksen, har gapet på toppen økt ytterligere. Modellen, som ble utgitt av Anthropic i juni, har lagt ut ledende skårer på tvers av flere kodings-benchmarker, inkludert 80,3 prosent på SWE-Bench Pro.atlascloud+2

Metodikkendringer og åpne bidrag

Utover å legge til modeller, migrerte Google Android Bench-rammeverket til Harbor, som de beskrev som å muliggjøre tøffere, virkelige AI-resonneringstester. Benchmarken evaluerer modeller på tvers av 100 testtilfeller som kjøres 10 ganger hver, og måler ikke bare nøyaktighet, men også latens og kostnad per kjøring – dimensjoner Google først introduserte i mai.x+2

Google indikerte også at utviklere nå kan bidra direkte til benchmarken, et skifte som kan utvide spekteret av Android-spesifikke kodingsutfordringer som brukes til å teste modeller. Flere eldre modeller, inkludert Claude Opus 4.6, Claude Sonnet 4.5 og tidligere GPT-varianter, ble arkivert i oppdateringen.developer.android+1

Hva rangeringene avslører

Kostnads- og hastighetsdataene i den nye ledertavlen tilbyr et praktisk perspektiv utover rå nøyaktighet. Deepseek V4 Flash skårer for eksempel beskjedne 54,7 prosent, men koster bare 1,50 dollar per benchmark-kjøring, mens Claude Fable 5s toppskåre kommer på 133,20 dollar per kjøring. Avveiningene understreker valgene Android-utviklere står overfor når AI-assisterte kodingsverktøy blir innebygd i daglige arbeidsflyter – og når Googles egne modeller fortsetter å jage rivaler fra Anthropic og OpenAI på benchmarken Google selv bygde.developer.android