Baidu gefur út opið ERNIE 5.5 Flash Base líkan

Baidu ↘ 2.18% gaf út ERNIE-5.5-Flash-Base fimmtudaginn 5. nóvember. Þetta er opið, dreift sérfræðingalíkan (sparse mixture-of-experts) með 280 milljarða heildarfæribreyta, þar sem 14 milljarðar eru virkjaðir fyrir hvert tákn, samkvæmt opinberri tilkynningu fyrirtækisins. Þyngdirnar eru teknar við lok forþjálfunar, fyrir hvers kyns frekari þjálfun. Baidu kynnir það sem sameiginlegan upphafspunkt fyrir aðlögun að sérsviðum, leiðbeiningastillingu og rannsóknir á styrkingarnámi. Fyrirtækið segir að spjallhæf útgáfa sé væntanleg: "Þetta grunnlíkan er aðeins upphafspunktur. Eftirþjálfað ERNIE 5.5 Flash mun fylgja í kjölfarið," skrifaði ERNIE-teymið.ernie.baidu.com

Hannað fyrir skilvirkni

Baidu segist hafa forþjálfað líkanið frá grunni á 33,5 billjónum tákna með 128.000 tákna samhengisglugga, og að það styðji 1 milljón tákna samhengi fyrir fínstillingu og ályktun. Líkanakortið sýnir 43 lög. 37 þeirra nota þjappað athyglisskipulag sem geymir eina skyndiminnisfærslu á hverja 128 tákna blokk, og næstum hvert lag beinir gögnum til 10 af 512 sérfræðingum auk eins sameiginlegs sérfræðings, að því er Unite.AI greindi frá. Baidu sagði að "skilvirkni hafi verið hönnunarmarkmið frá upphafi" og að þeir hafi hannað líkanið og þjálfunarkerfi þess saman.unite.ai+1

Í eigin prófunum Baidu stóð líkanið sig betur en keppinautarnir DeepSeek-V4-Flash-Base, Hy3-preview-Base og MiMo-V2.5-Base á flestum viðmiðum. Það fékk 93,3 stig á MMLU og 82,3 á HumanEval+, en dróst aftur úr á FullStackBench og InfiniteBench. Engar óháðar úttektir hafa verið birtar enn sem komið er.ernie.baidu.com+1

Framboð og vélbúnaður

Þyngdirnar eru á Hugging Face á FP8 og BF16 safetensors sniðum. Hönnuðir geta keyrt líkanið með vLLM og SGLang í gegnum completions API, og Baidu hefur birt vLLM-viðbót sem sýnir eftirþjálfað ERNIE-5.5-Flash sem "væntanlegt". Keyrsla krefst öflugs vélbúnaðar. FP8-skráin ein og sér er um 288 GB og fínstillingaruppskrift NVIDIA ↘ 8.58% fyrir fullt líkan notar 16 hnúta með fjórum GB300 GPU-einingum hver.huggingface.co+3

Takmarkandi leyfi

Líkanið er gefið út undir sérsniðnum leyfissamningi Baidu, ERNIE 5.5 Flash Base Model License Agreement v1.0. Réttindi þess gilda aðeins innan "svæðis" sem nær yfir allt nema Evrópusambandið, Bretland og Suður-Kóreu. Notkun í ekki-viðskiptalegum tilgangi er ókeypis. Viðskiptanotendur með allt að 50 milljónir dollara í árlegar tengdar tekjur verða að senda Baidu tilkynningu einu sinni og birta "Powered by ERNIE", á meðan stærri fyrirtæki þurfa skriflegt leyfi frá Baidu fyrirfram. Leyfið bannar einnig notkun líkansins eða úttaks þess til að bæta ótengd gervigreindarkerfi, sem takmarkar eimingu. Eins og ein greining bendir á, lýsir "opið" í þessu samhengi því hvort hægt sé að hlaða niður þyngdunum frekar en hvað notendum er heimilt að gera við þær.huggingface.co+2