Anthropics Claude Fable 5 toppar Googles förnyade Android Bench

Google Alphabet Inc. ↘ 1.42% rullade på tisdagen ut en stor uppdatering av Android Bench, deras topplista för att utvärdera hur väl AI-modeller hanterar verkliga Android-utvecklingsuppgifter. Uppdateringen lägger till åtta nya modeller i rankningen – med Anthropics Claude Fable 5 i spetsen, som tog förstaplatsen med en noggrannhet på 84,5 procent – och migrerar benchmarkens underliggande ramverk till ett nytt system som kallas Harbor.developer.android+1

En ny topplista tar form

Den uppdaterade topplistan, som publicerades den 8 juli, har Claude Fable 5 på första plats, följt av OpenAIs GPT 5.5 på 80,2 procent och Claude Sonnet 5 på 76,2 procent. Googles egen Gemini 3.1 Pro Preview hamnade på femte plats med 73,7 procent, och låg även efter GPT 5.4. Andra nyligen tillagda modeller inkluderar Qwen 3.7 Max, Qwen 3.7 Plus, GLM 5.2, Kimi K2.7 Code och MiniMax M3.developer.android

Resultaten fortsätter ett mönster som först noterades i maj, då GPT 5.5 toppade listan och Gemini låg efter OpenAIs modeller med ungefär två procentenheter. Med Fable 5 nu i mixen har gapet i toppen ökat ytterligare. Modellen, som släpptes av Anthropic i juni, har uppnått ledande resultat i flera kodnings-benchmarks, inklusive 80,3 procent på SWE-Bench Pro.atlascloud+2

Metodförändringar och öppna bidrag

Utöver att lägga till modeller migrerade Google Android Bench-ramverket till Harbor, vilket de beskrev som att det möjliggör tuffare, verkliga AI-resonemangstester. Benchmarken utvärderar modeller över 100 testfall som körs 10 gånger vardera, och mäter inte bara noggrannhet utan även latens och kostnad per körning – dimensioner som Google först introducerade i maj.x+2

Google indikerade också att utvecklare nu kan bidra direkt till benchmarken, ett skifte som kan bredda utbudet av Android-specifika kodningsutmaningar som används för att testa modeller. Flera äldre modeller, inklusive Claude Opus 4.6, Claude Sonnet 4.5 och tidigare GPT-varianter, arkiverades i uppdateringen.developer.android+1

Vad rankningarna avslöjar

Kostnads- och hastighetsdata i den nya topplistan erbjuder ett praktiskt perspektiv utöver rå noggrannhet. Deepseek V4 Flash får till exempel blygsamma 54,7 procent men kostar bara 1,50 dollar per benchmark-körning, medan Claude Fable 5s toppresultat kostar 133,20 dollar per körning. Avvägningarna understryker de val som Android-utvecklare står inför när AI-assisterade kodningsverktyg blir inbäddade i dagliga arbetsflöden – och när Googles egna modeller fortsätter att jaga rivaler från Anthropic och OpenAI på den benchmark som Google själv byggt.developer.android