Musk planuoja ribotą „Grok 4.8“ išleidimą po kodo perrašymo

Elonas Muskas antradienį pranešė, kad vėliau šią savaitę prasidės ribotas „Grok 4.8“ išleidimas. Jis teigė, kad pokalbių roboto kūrėjai pakeitė išorines programinės įrangos sistemas savu kodu, o tai užlaikė modelio pasirodymą. „Mes atsisakėme JAX/SGLang ir perrašėme visą RL bei išvadų sistemą nuo nulio C/C++ kalba, o tai pareikalavo papildomo laiko“, – rašė Muskas „X“ tinkle, remiantis „Anadolu Agency“. Įmonė dabar vadinasi „SpaceX Super Intelligence“, anksčiau buvo žinoma kaip xAI.breakingthenews.net

Šis atnaujinimas pasirodo xAI bandant perkelti vartotojus nuo „Grok 4.7“, kuris buvo išleistas rugsėjį. Muskas atvirai kritikavo tą modelį ir nepateikė jokių naujojo modelio našumo įvertinimų.

„Grok 4.8“ statusas

Muskas teigė, kad išankstinis mokymas baigtas ir kad „reikėjo daug išvalyti SFT duomenis, kad viskas būtų daugmaž teisinga“. SFT reiškia prižiūrimąjį tikslųjį derinimą (supervised fine-tuning). Jis pridūrė, kad „4.8 yra RL stadijoje ir vertinimai pradeda kilti“, remiantis „FourWeekMBA“, kuri citavo lapkričio 10 d. 09:35 UTC paskelbtą įrašą. RL reiškia stiprinamąjį mokymąsi (reinforcement learning) – etapą, kuriame modelis mokomas pagal atlygį. „Vėliau šią savaitę atliksime ribotą išleidimą „Bot“ vartotojams ir pažiūrėsime, kaip seksis“, – rašė Muskas. Jis nenurodė, kokio masto bus išleidimas, ar API klientai gaus prieigą, arba kiek modelis kainuos, pažymėjo „FourWeekMBA“.fourweekmba.com

„Tesla“ vadovas taip pat įgėlė dabartiniam modeliui. „Grok 4.8“ nebus panašus į 4.7 (laimei). Jis dar nėra neįtikėtinas, bet šį kartą pamatai pakloti teisingai, todėl tikiuosi, kad jis taps kažkuo ypatingu“, – rašė jis. „Grok 4.7“ buvo išleistas rugsėjo 21 d.breakingthenews.net

57 dienų vėlavimas

Įrašas pasirodė praėjus 57 dienoms po to, kai Muskas rugsėjo 14 d. rašė, kad „Grok 4.8“ „baigs mokymą šią savaitę ir pradės RL“, skaičiavo „FourWeekMBA“. Tame ankstesniame įraše Muskas apibūdino 4.8 kaip „2.5T modelį, apmokytą naudojant mūsų naują C++ programinės įrangos sistemą“. Tai reiškė, kad išankstinis mokymas jau buvo perkeltas į vidinį kodą. Naujame įraše teigiama, kad stiprinamojo mokymosi ir išvadų etapai dabar taip pat perkelti. Rugsėjo mėnesio įrašo metu stiprinamasis mokymasis vis dar rėmėsi senesnėmis, pataisytomis programinės įrangos sistemomis.lookonchain.com+1

Šis pokytis yra atotrūkis nuo to, kaip „Grok“ buvo sukurtas iš pradžių. xAI 2023 m. lapkričio mėn. pristatymo įraše teigta, kad įmonė sukūrė „pritaikytą mokymo ir išvadų sistemą, pagrįstą „Kubernetes“, „Rust“ ir JAX“, pranešė „FourWeekMBA“. JAX yra masyvų skaičiavimo biblioteka iš „Google“ tyrėjų. „SGLang“ yra atvirojo kodo sistema, skirta dideliems kalbų modeliams aptarnauti.fourweekmba.com

Konkurencinis laikas

Ribotas išleidimas vyksta praėjus kelioms dienoms po konkurentų pristatymų. „Anthropic“ lapkričio 9 d. paskelbė apie „Claude Fable 5.2“, o „Google“ spalio 28 d. paskelbė apie „Gemini 4 Carbon“, teigia „FourWeekMBA“. Tai taip pat vyksta po savaitės „Grok Bot“ vartotojų skundų. Lapkričio 9 d. Muskas pažadėjo greitus pataisymus po to, kai mokami prenumeratoriai teigė, kad jų naudojimo limitai baigiasi.fourweekmba.com

Kol kas Musko žodžiai yra vienintelis įrodymas tiek apie sistemos perrašymą, tiek apie kylančius vertinimo balus. Išorinis „Grok 4.8“ testavimas turės palaukti, kol vartotojai galės jį išbandyti.