Baidu vydává model ERNIE 5.5 Flash Base s otevřenými vahami

Společnost Baidu ↘ 2.18% vydala ve čtvrtek 5. listopadu model ERNIE-5.5-Flash-Base. Podle oficiálního příspěvku společnosti se jedná o jazykový model typu mixture-of-experts s otevřenými vahami, který má celkem 280 miliard parametrů, z nichž 14 miliard je aktivováno na jeden token. Váhy představují kontrolní bod pořízený na konci předtrénování, před jakýmkoli dalším laděním. Baidu jej prezentuje jako společný výchozí bod pro přizpůsobení doméně, ladění instrukcí a výzkum posilovaného učení. Společnost uvádí, že verze připravená pro chat teprve přijde: "Tento základní model je pouze výchozím bodem. Následovat bude dotrénovaný ERNIE 5.5 Flash," napsal tým ERNIE.ernie.baidu.com

Navrženo pro efektivitu

Baidu uvádí, že model předtrénovala od základu na 33,5 bilionu tokenů s tréninkovým kontextem až 128 000 tokenů a že podporuje kontext 1 milionu tokenů pro jemné doladění a inferenci. Karta modelu uvádí 43 vrstev. Třicet sedm z nich využívá schéma komprimované pozornosti, které ukládá jednu položku mezipaměti na blok 128 tokenů, a téměř každá vrstva směruje k 10 z 512 expertů plus jednomu sdílenému expertovi, uvedl server Unite.AI. Baidu uvedla, že "efektivita byla od počátku cílem návrhu" a že model a jeho tréninkový systém navrhla společně.unite.ai+1

Ve vlastních testech Baidu model překonal konkurenční základní kontrolní body DeepSeek-V4-Flash-Base, Hy3-preview-Base a MiMo-V2.5-Base ve většině benchmarků. Dosáhl skóre 93,3 v MMLU a 82,3 v HumanEval+, ale zaostal v testech FullStackBench a InfiniteBench. Zatím nebylo zveřejněno žádné nezávislé hodnocení.ernie.baidu.com+1

Dostupnost a hardware

Váhy jsou k dispozici na Hugging Face ve formátech FP8 a BF16 safetensors. Vývojáři mohou model obsluhovat pomocí vLLM a SGLang prostřednictvím completions API a Baidu zveřejnila plugin vLLM, který uvádí dotrénovaný ERNIE-5.5-Flash jako "již brzy". Provoz vyžaduje výkonný hardware. Samotný kontrolní bod FP8 má přibližně 288 GB a receptura společnosti NVIDIA ↘ 8.58% pro jemné doladění celého modelu využívá 16 uzlů, z nichž každý má čtyři GPU GB300.huggingface.co+3

Restriktivní licence

Model je vydán pod vlastní licenční smlouvou Baidu ERNIE 5.5 Flash Base Model License Agreement v1.0. Její práva platí pouze na "území", které zahrnuje vše kromě Evropské unie, Velké Británie a Jižní Koreje. Ne-komerční použití je zdarma. Komerční uživatelé s ročními souvisejícími příjmy do 50 milionů dolarů musí Baidu jednou zaslat oznámení a zobrazit "Powered by ERNIE", zatímco větší společnosti potřebují předchozí písemné povolení od Baidu. Licence také zakazuje používat model nebo jeho výstupy ke zlepšování nesouvisejících systémů AI, což omezuje destilaci. Jedna analýza v současnosti poznamenává, že "otevřený" popisuje pouze to, zda lze váhy stáhnout, nikoli to, co je uživatelům s nimi dovoleno dělat.huggingface.co+2