Anthropicin Claude Fable 5 kärkeen Googlen uudistetussa Android Bench -vertailussa

Google Alphabet Inc. ↘ 2.20% julkaisi tiistaina merkittävän päivityksen Android Benchiin, joka on sen tulostaulukko tekoälymallien kyvyn arvioimiseksi Android-kehitystehtävissä. Päivitys lisää kahdeksan uutta mallia ranking-listalle — kärjessä Anthropicin Claude Fable 5, joka nappasi kärkipaikan 84,5 prosentin tarkkuudella — ja siirtää vertailun taustalla olevan kehyksen uuteen Harbor-järjestelmään.developer.android+1

Uusi tulostaulukko muotoutuu

Heinäkuun 8. päivänä julkaistu päivitetty tulostaulukko nostaa Claude Fable 5:n sijalle 1, jota seuraavat OpenAI:n GPT 5.5 (80,2 %) ja Claude Sonnet 5 (76,2 %). Googlen oma Gemini 3.1 Pro Preview sijoittui viidenneksi 73,7 prosentin tuloksella, jääden myös GPT 5.4:n taakse. Muita vastalisättyjä malleja ovat Qwen 3.7 Max, Qwen 3.7 Plus, GLM 5.2, Kimi K2.7 Code ja MiniMax M3.developer.android

Tulokset jatkavat toukokuussa havaittua suuntausta, jolloin GPT 5.5 johti tulostaulukkoa ja Gemini jäi OpenAI:n malleista noin kaksi prosenttiyksikköä. Fable 5:n ollessa nyt mukana, ero kärjessä on kasvanut entisestään. Anthropicin kesäkuussa julkaisema malli on saavuttanut johtavia tuloksia useissa koodausvertailuissa, mukaan lukien 80,3 prosenttia SWE-Bench Prossa.atlascloud+2

Metodologian muutokset ja avoimet osallistumismahdollisuudet

Mallien lisäämisen lisäksi Google siirsi Android Bench -kehyksen Harboriin, jonka se kuvaili mahdollistavan vaativammat, todellisen maailman tekoälypäättelytestit. Vertailu arvioi malleja 100 testitapauksen kautta, jotka ajetaan 10 kertaa kukin, mitaten tarkkuuden lisäksi myös viivettä ja suorituskustannuksia — ulottuvuuksia, jotka Google esitteli ensimmäisen kerran toukokuussa.x+2

Google ilmoitti myös, että kehittäjät voivat nyt osallistua vertailun kehittämiseen suoraan, mikä voi laajentaa mallien testaamiseen käytettävien Android-kohtaisten koodaushaasteiden valikoimaa. Useita vanhempia malleja, kuten Claude Opus 4.6, Claude Sonnet 4.5 ja aiemmat GPT-versiot, arkistoitiin päivityksen yhteydessä.developer.android+1

Mitä ranking-listat paljastavat

Uuden tulostaulukon kustannus- ja nopeustiedot tarjoavat käytännön näkökulman pelkän tarkkuuden lisäksi. Esimerkiksi Deepseek V4 Flash saa vaatimattoman 54,7 prosentin tuloksen, mutta maksaa vain 1,50 dollaria per vertailuajo, kun taas Claude Fable 5:n huipputulos maksaa 133,20 dollaria per ajo. Nämä kompromissit korostavat valintoja, joita Android-kehittäjät kohtaavat tekoälyavusteisten koodaustyökalujen integroituessa päivittäisiin työnkulkuihin — ja Googlen omien mallien jatkaessa kilpailijoiden, kuten Anthropicin ja OpenAI:n, jahtaamista Googlen itsensä rakentamassa vertailussa.developer.android