„Anthropic“ modelis „Claude Fable 5“ užėmė pirmąją vietą atnaujintame „Google“ „Android Bench“ reitinge

„Google Alphabet Inc.“ ↘ 2.20% antradienį pristatė didelį „Android Bench“ atnaujinimą – savo lyderių sąrašą, skirtą vertinti, kaip dirbtinio intelekto modeliai susidoroja su realaus pasaulio „Android“ kūrimo užduotimis. Atnaujinimas papildo reitingus aštuoniais naujais modeliais, tarp kurių ryškiausias yra „Anthropic“ „Claude Fable 5“, užėmęs pirmąją vietą su 84,5 proc. tikslumo įverčiu, ir perkelia etaloninės sistemos pagrindą į naują sistemą, vadinamą „Harbor“.developer.android+1

Formuojasi naujas lyderių sąrašas

Liepos 8 d. paskelbtame atnaujintame lyderių sąraše „Claude Fable 5“ yra pirmoje vietoje, po jo seka „OpenAI“ „GPT 5.5“ su 80,2 proc. ir „Claude Sonnet 5“ su 76,2 proc. „Google“ „Gemini 3.1 Pro Preview“ užėmė penktąją vietą su 73,7 proc., atsilikdamas ir nuo „GPT 5.4“. Kiti naujai įtraukti modeliai yra „Qwen 3.7 Max“, „Qwen 3.7 Plus“, „GLM 5.2“, „Kimi K2.7 Code“ ir „MiniMax M3“.developer.android

Rezultatai tęsia tendenciją, pirmą kartą pastebėtą gegužę, kai „GPT 5.5“ užėmė pirmąją vietą, o „Gemini“ nuo „OpenAI“ modelių atsiliko maždaug dviem procentiniais punktais. Dabar, kai į sąrašą įtrauktas „Fable 5“, atotrūkis viršūnėje dar labiau padidėjo. Birželio mėnesį „Anthropic“ išleistas modelis pasiekė geriausius rezultatus įvairiuose programavimo testuose, įskaitant 80,3 proc. „SWE-Bench Pro“.atlascloud+2

Metodologijos pokyčiai ir atviri įnašai

Be modelių pridėjimo, „Google“ perkėlė „Android Bench“ sistemą į „Harbor“, kuri, pasak bendrovės, leidžia atlikti griežtesnius, realaus pasaulio dirbtinio intelekto samprotavimo testus. Etalonas vertina modelius pagal 100 testavimo atvejų, kiekvieną paleidžiant po 10 kartų, matuojant ne tik tikslumą, bet ir delsą bei vieno paleidimo kainą – parametrus, kuriuos „Google“ pirmą kartą pristatė gegužę.x+2

„Google“ taip pat nurodė, kad kūrėjai dabar gali tiesiogiai prisidėti prie etalono kūrimo – tai pokytis, galintis išplėsti „Android“ specifinių programavimo užduočių, naudojamų modeliams testuoti, spektrą. Atnaujinant buvo archyvuoti keli senesni modeliai, įskaitant „Claude Opus 4.6“, „Claude Sonnet 4.5“ ir ankstesnius „GPT“ variantus.developer.android+1

Ką atskleidžia reitingai

Naujame lyderių sąraše pateikiami kainos ir greičio duomenys suteikia praktinį požiūrį, neapsiribojant vien tik tikslumu. Pavyzdžiui, „Deepseek V4 Flash“ surenka kuklius 54,7 proc., tačiau vienas etaloninis paleidimas kainuoja tik 1,50 JAV dolerio, o „Claude Fable 5“ geriausias rezultatas kainuoja 133,20 JAV dolerio už paleidimą. Šie kompromisai pabrėžia pasirinkimus, su kuriais susiduria „Android“ kūrėjai, kai dirbtinio intelekto pagalbinės programavimo priemonės tampa kasdienių darbo procesų dalimi – ir kai pačios „Google“ modeliai toliau vejasi konkurentus iš „Anthropic“ ir „OpenAI“ etalone, kurį sukūrė pati „Google“.developer.android