GPT-6 Astra sulaukė prieštaringų nepriklausomų laboratorijų vertinimų

Rugsėjo 3 d. išleistas „OpenAI“ modelis „GPT-6 Astra“ sukėlė retą nesutarimą tarp nepriklausomų vertintojų: vieni jį įvardija kaip geriausią pasaulyje dirbtinio intelekto modelį, kiti jį vertina lygiai su pirmtaku ir atsiliekantį nuo konkurentės „Anthropic“.

Skirtingi vertinimai

„Epoch AI“ sudėtinis pajėgumų indeksas „Astra“ skyrė 169 balus, taip iškeldamas jį į pirmąją vietą tarp 267 modelių – aplenkiant „Anthropic“ modelį „Claude Fable 5.1“ su 163 balais. San Franciske įsikūrusi vertinimo įmonė „Artificial Analysis“ priėjo kitokią išvadą. Jos intelekto indekse „Astra“ įvertintas 61 balu, t. y. lygiai taip pat, kaip „OpenAI“ ir „Microsoft Corporation“ ↘ 0.99% modelis „GPT-5.6 Sol“, o „Anthropic“ „Claude Fable 5.1“ su 66 balais yra penkiais balais priekyje. Programavimo užduočių srityje vaizdas palankesnis: „Astra“ „Artificial Analysis“ programavimo agentų indekse surinko 67 balus, maždaug prilygdamas „Claude Opus 5“ ir „Meta“ ↗ 0.84% „Muse Spark 1.3“.trendingtopics+4

Nesutarimai iš dalies kyla dėl to, ką matuoja kiekvienas indeksas. „Epoch AI“ sujungia samprotavimo, matematikos, mokslo ir agentų testų rezultatus į vieną skaičių, o „Artificial Analysis“ skirtingai vertina žinias, ilgų dokumentų analizę ir faktinį tikslumą. „Epoch AI“ socialiniame tinkle „X“ pažymėjo, kad „Astra“ pasiektas rekordas yra „neapibrėžtumo ribose“ lyginant su ankstesniais lyderiais, todėl atotrūkis gali būti mažesnis, nei rodo antraštės.latent+1

ARC-AGI-3: efektyvumo viršūnė

„ARC Prize“ organizacija pateikė savo vertinimą, išbandydama „Astra“ su „ARC-AGI-3“ – interaktyviu testu, reikalaujančiu, kad agentai tyrinėtų nepažįstamą aplinką, darytų išvadas ir planuotų veiksmus be aiškių instrukcijų. Standartinėmis sąlygomis „Astra“ surinko 62,7 proc., o vienas bandymas kainavo apie 26 000 JAV dolerių. Naudojant „OpenAI“ „Provider Adapter“ sistemą, kuri išsaugo modelio samprotavimo būseną tarp užklausų, rezultatas šoktelėjo iki 99,9 proc., o kaina siekė apie 19 000 JAV dolerių.arcprize

Išskirtinis radinys buvo „Astra“ veiksmų efektyvumas. Lyginant su maždaug 500 žmonių dalyvių duomenimis, „Astra“ 96 proc. lygių atliko mažiau veiksmų nei vidutinis žmogus ir vidutiniškai sunaudojo 51,7 proc. mažiau veiksmų vienam lygiui. „Tai svarbus etapas“, – rašė „ARC Prize“, pridurdama, kad rezultatas „atitiko ir viršijo žmogaus lygį“ pagal jų veiksmų efektyvumo matą.arcprize

Atviros matematikos problemos ir augančios sąnaudos

„Epoch AI“ taip pat pranešė, kad naujajame „FrontierMath Erdős“ teste – 68 atvirų problemų rinkinyje, kurį suformulavo matematikas Paulas Erdősas – „Astra“ buvo vienintelis modelis, išsprendęs bent kelias jų, pateikdamas „Lean“ patikrintus įrodymus dviem problemoms už 300 JAV dolerių biudžetą vienam bandymui. Trys papildomi sprendimai buvo gauti atliekant brangesnius nestandartinius bandymus, kainavusius daugiau nei 220 000 JAV dolerių, kuriuos „Epoch“ neįtraukė į oficialų rezultatą.the-decoder+1

Kūrėjams šis našumas kainuoja brangiai. „OpenAI“ nustatė „Astra“ API kainas: 10 JAV dolerių už milijoną įvesties žetonų ir 50 JAV dolerių už milijoną išvesties žetonų, t. y. 2,5 karto daugiau nei „GPT-5.6 Sol“. „Artificial Analysis“ nustatė, kad „Astra“ geresnis žetonų efektyvumas kompensuoja didesnes kainas programavimo užduotims, tačiau bendrojo intelekto užduotims modelis tampa apie 75 proc. brangesnis.trendingtopics