Anthropic-ի Claude Fable 5-ը գլխավորում է Google-ի թարմացված Android Bench-ը

Google Alphabet Inc. ↘ 2.20%-ը երեքշաբթի օրը ներկայացրել է Android Bench-ի խոշոր թարմացում՝ իր առաջատարների աղյուսակը, որը գնահատում է, թե որքան լավ են AI մոդելները հաղթահարում Android-ի իրական մշակման առաջադրանքները: Թարմացումը վարկանիշային աղյուսակին ավելացնում է ութ նոր մոդել՝ գլխավորությամբ Anthropic-ի Claude Fable 5-ի, որը 84,5 տոկոս ճշգրտության ցուցանիշով զբաղեցրել է առաջին տեղը, և բենչմարկի հիմքում ընկած շրջանակը տեղափոխում է Harbor անունով նոր համակարգ:developer.android+1

Ձևավորվում է նոր առաջատարների աղյուսակ

Հուլիսի 8-ին հրապարակված թարմացված աղյուսակում Claude Fable 5-ը առաջին տեղում է, որին հաջորդում են OpenAI-ի GPT 5.5-ը՝ 80,2 տոկոսով, և Claude Sonnet 5-ը՝ 76,2 տոկոսով: Google-ի սեփական Gemini 3.1 Pro Preview-ն 73,7 տոկոսով զբաղեցրել է հինգերորդ տեղը՝ զիջելով նաև GPT 5.4-ին: Այլ նոր ավելացված մոդելներից են Qwen 3.7 Max-ը, Qwen 3.7 Plus-ը, GLM 5.2-ը, Kimi K2.7 Code-ը և MiniMax M3-ը:developer.android

Արդյունքները շարունակում են մայիսին նկատված միտումը, երբ GPT 5.5-ը գլխավորում էր աղյուսակը, իսկ Gemini-ն OpenAI-ի մոդելներից հետ էր մնում մոտ երկու տոկոսային կետով: Fable 5-ի ներգրավմամբ՝ առաջատարների միջև եղած տարբերությունն էլ ավելի է մեծացել: Մոդելը, որը Anthropic-ը թողարկել է հունիսին, առաջատար միավորներ է գրանցել կոդավորման բազմաթիվ բենչմարկներում, այդ թվում՝ 80,3 տոկոս SWE-Bench Pro-ում:atlascloud+2

Մեթոդաբանական փոփոխություններ և բաց ներդրումներ

Մոդելներ ավելացնելուց բացի, Google-ը Android Bench-ի շրջանակը տեղափոխել է Harbor, ինչը, ըստ ընկերության, հնարավորություն է տալիս անցկացնել ավելի խիստ, իրական աշխարհի AI դատողությունների թեստեր: Բենչմարկը գնահատում է մոդելները 100 թեստային դեպքերի միջոցով, որոնցից յուրաքանչյուրը գործարկվում է 10 անգամ՝ չափելով ոչ միայն ճշգրտությունը, այլև լատենտությունը և մեկ գործարկման արժեքը՝ չափումներ, որոնք Google-ն առաջին անգամ ներկայացրել է մայիսին:x+2

Google-ը նաև նշել է, որ ծրագրավորողներն այժմ կարող են ուղղակիորեն նպաստել բենչմարկին, մի փոփոխություն, որը կարող է ընդլայնել Android-ի կոդավորման հատուկ մարտահրավերների շրջանակը, որոնք օգտագործվում են մոդելները ստուգելու համար: Թարմացման ժամանակ արխիվացվել են մի քանի հին մոդելներ, այդ թվում՝ Claude Opus 4.6-ը, Claude Sonnet 4.5-ը և GPT-ի ավելի վաղ տարբերակները:developer.android+1

Ի՞նչ են բացահայտում վարկանիշները

Նոր աղյուսակում առկա ծախսերի և արագության տվյալները առաջարկում են գործնական հայացք՝ զուտ ճշգրտությունից դուրս: Deepseek V4 Flash-ը, օրինակ, գրանցում է համեստ 54,7 տոկոս, սակայն բենչմարկի մեկ գործարկումն արժե ընդամենը 1,50 դոլար, մինչդեռ Claude Fable 5-ի լավագույն արդյունքը մեկ գործարկման համար կազմում է 133,20 դոլար: Այս փոխզիջումներն ընդգծում են այն ընտրությունը, որի առջև կանգնած են Android-ի ծրագրավորողները, քանի որ AI-ով աշխատող կոդավորման գործիքները ներդրվում են առօրյա աշխատանքային գործընթացներում, և քանի որ Google-ի սեփական մոդելները շարունակում են հետապնդել Anthropic-ի և OpenAI-ի մրցակիցներին այն բենչմարկի վրա, որը հենց Google-ն է ստեղծել:developer.android