„Baidu“ išleido atviro svorio „ERNIE 5.5 Flash Base“ modelį

„Baidu“ ↘ 2.31% ketvirtadienį, lapkričio 5 d., išleido „ERNIE-5.5-Flash-Base“. Tai atviro svorio retas ekspertų mišinio kalbos modelis, turintis 280 milijardų bendrų parametrų, iš kurių 14 milijardų aktyvuojami vienam žetonui, teigiama oficialiame įmonės pranešime. Svoris yra kontrolinis taškas, paimtas pasibaigus išankstiniam mokymui, prieš bet kokį vidurinį ar vėlesnį mokymą. „Baidu“ pristato jį kaip bendrą atspirties tašką domenų pritaikymui, instrukcijų derinimui ir mokymosi su pastiprinimu tyrimams. Įmonė teigia, kad pokalbiams paruošta versija dar bus: „Šis bazinis modelis yra tik atspirties taškas. Po jo seks po mokymo paruoštas ERNIE 5.5 Flash“, – rašė ERNIE komanda.ernie.baidu.com

Sukurtas efektyvumui

„Baidu“ teigia, kad modelį nuo nulio apmokė su 33,5 trilijono žetonų, kurių mokymo kontekstas siekia iki 128 000 žetonų, ir kad jis palaiko 1 milijono žetonų kontekstą tiksliajam derinimui ir išvadoms. Modelio kortelėje nurodyti 43 sluoksniai. „Unite.AI“ pranešė, kad 37 iš jų naudoja suspausto dėmesio schemą, kuri saugo vieną talpyklos įrašą 128 žetonų blokui, o beveik kiekvienas sluoksnis nukreipia į 10 iš 512 ekspertų bei vieną bendrą ekspertą. „Baidu“ teigė, kad „efektyvumas buvo dizaino tikslas nuo pat pradžių“ ir kad jie kartu suprojektavo modelį bei jo mokymo sistemą.unite.ai+1

Atliekant „Baidu“ testus, modelis daugumoje lyginamųjų rodiklių aplenkė konkuruojančius bazinius kontrolinius taškus „DeepSeek-V4-Flash-Base“, „Hy3-preview-Base“ ir „MiMo-V2.5-Base“. Jis surinko 93,3 balo MMLU ir 82,3 balo „HumanEval+“, tačiau atsiliko „FullStackBench“ ir „InfiniteBench“ testuose. Kol kas nepaskelbta jokių nepriklausomų vertinimų.ernie.baidu.com+1

Prieinamumas ir techninė įranga

Svoris yra „Hugging Face“ platformoje FP8 ir BF16 „safetensors“ formatais. Kūrėjai gali aptarnauti modelį naudodami vLLM ir SGLang per „completions API“, o „Baidu“ paskelbė vLLM papildinį, kuriame po mokymo paruoštas „ERNIE-5.5-Flash“ nurodytas kaip „netrukus pasirodysiantis“. Jam paleisti reikia galingos techninės įrangos. Vien tik FP8 kontrolinis taškas yra apie 288 GB, o „NVIDIA“ ↘ 7.81% viso modelio tiksliojo derinimo receptas naudoja 16 mazgų, kurių kiekviename yra po keturis GB300 GPU.huggingface.co+3

Ribojanti licencija

Modelis išleistas pagal „Baidu“ pasirinktinę „ERNIE 5.5 Flash Base Model License Agreement v1.0“ sutartį. Jos teisės galioja tik „teritorijoje“, apimančioje visur, išskyrus Europos Sąjungą, Jungtinę Karalystę ir Pietų Korėją. Ne komercinis naudojimas yra nemokamas. Komerciniai vartotojai, kurių metinės susijusios pajamos siekia iki 50 milijonų JAV dolerių, privalo vieną kartą pranešti „Baidu“ ir rodyti užrašą „Powered by ERNIE“, o didesnės įmonės turi gauti išankstinį rašytinį „Baidu“ leidimą. Licencija taip pat draudžia naudoti modelį ar jo išvestis nesusijusioms DI sistemoms tobulinti, o tai riboja distiliavimą. Kol kas viena analizė pažymi, kad „atviras“ apibūdina tik tai, ar svorius galima atsisiųsti, o ne tai, ką vartotojams leidžiama su jais daryti.huggingface.co+2