Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]
All voices matter
Baidu-ն թողարկել է ERNIE 5.5 Flash Base բաց կշիռներով մոդելը
- Baidu -ն հինգշաբթի օրը թողարկել է ERNIE-5.5-Flash-Base մոդելը՝ փորձագետների նոսր խառնուրդի ճարտարապետությամբ, որն ունի 280 միլիարդ պարամետր, որից 14 միլիարդը ակտիվ է յուրաքանչյուր տոկենի համար
ernie.baidu.com+1: - Baidu-ն հայտնում է, որ մոդելը նախապես մարզվել է 33.5 տրիլիոն տոկենի վրա, իսկ չաթի համար նախատեսված ERNIE 5.5 Flash-ը կհետևի ավելի ուշ
ernie.baidu.com: - Լիցենզիան արգելում է օգտագործումը ԵՄ-ում, Մեծ Բրիտանիայում և Հարավային Կորեայում, պահանջում է հաստատում խոշոր առևտրային օգտատերերի համար և սահմանափակում է դիստիլյացիան այլ AI համակարգերում
huggingface.co+1:
Baidu ընկերությունը հինգշաբթի՝ նոյեմբերի 5-ին, թողարկել է ERNIE-5.5-Flash-Base մոդելը։ Ըստ ընկերության պաշտոնական հայտարարության՝ սա բաց կշիռներով լեզվական մոդել է, որն ունի 280 միլիարդ ընդհանուր պարամետր, որոնցից 14 միլիարդն ակտիվանում է յուրաքանչյուր տոկենի համար։ Կշիռները նախնական մարզման վերջնական կետն են։ Baidu-ն այն ներկայացնում է որպես ընդհանուր մեկնարկային կետ տիրույթի հարմարեցման, հրահանգների կարգավորման և ամրապնդող ուսուցման հետազոտությունների համար։ Ընկերությունը նշում է, որ չաթի համար պատրաստ տարբերակը դեռ առջևում է. «Այս բազային մոդելը միայն սկիզբն է», — գրել է ERNIE թիմըernie.baidu.com։
Ստեղծված է արդյունավետության համար
Baidu-ն հայտնում է, որ մոդելը զրոյից մարզվել է 33.5 տրիլիոն տոկենի վրա՝ մինչև 128,000 տոկեն համատեքստով, և աջակցում է 1 միլիոն տոկեն համատեքստ՝ հետագա կարգավորման և եզրակացության համար։ Մոդելի քարտում նշված է 43 շերտ։ Unite.AI-ի հաղորդմամբ՝ դրանցից 37-ն օգտագործում են սեղմված ուշադրության սխեմա, իսկ գրեթե յուրաքանչյուր շերտ ուղղորդվում է 512 փորձագետներից 10-ին և մեկ ընդհանուր փորձագետի։ Baidu-ն նշել է, որ «արդյունավետությունը դիզայնի նպատակ էր հենց սկզբից»unite.ai+1։
Baidu-ի սեփական թեստերում մոդելը գերազանցել է մրցակիցներին՝ DeepSeek-V4-Flash-Base-ին և այլոց, բենչմարկների մեծ մասում։ Այն MMLU-ում հավաքել է 93.3, իսկ HumanEval+-ում՝ 82.3 միավոր։ Անկախ գնահատում դեռևս չի հրապարակվելernie.baidu.com+1։
Հասանելիություն և սարքավորումներ
Կշիռները հասանելի են Hugging Face-ում FP8 և BF16 ձևաչափերով։ Մշակողները կարող են մոդելը գործարկել vLLM և SGLang-ի միջոցով։ Գործարկումը պահանջում է հզոր սարքավորումներ. միայն FP8 ստուգիչ կետը մոտ 288 ԳԲ է, իսկ NVIDIA-ի ամբողջական մոդելի կարգավորման բաղադրատոմսը օգտագործում է 16 հանգույց՝ յուրաքանչյուրում չորս GB300 GPU-ովhuggingface.co+3։
Սահմանափակող լիցենզիա
Մոդելը թողարկվել է Baidu-ի հատուկ լիցենզիայով։ Իրավունքները գործում են միայն այն տարածքում, որը ներառում է ամեն ինչ, բացի Եվրամիությունից, Մեծ Բրիտանիայից և Հարավային Կորեայից։ Ոչ առևտրային օգտագործումն անվճար է։ Առևտրային օգտատերերը, որոնց տարեկան եկամուտը մինչև 50 միլիոն դոլար է, պետք է ծանուցեն Baidu-ին, իսկ ավելի խոշոր ընկերությունները պետք է ստանան նախնական գրավոր թույլտվություն։ Լիցենզիան նաև արգելում է մոդելի օգտագործումը այլ AI համակարգերի բարելավման համար, ինչը սահմանափակում է դիստիլյացիանhuggingface.co+2։
Աղբյուրներ (21)
- 1 ERNIE 5.5 Flash Base ernie.baidu.com
- 2 ERNIE-5.5-Flash-Base: 280B open weights, tight licence www.orcarouter.ai
- 3 LICENSE · baidu/ERNIE-5.5-Flash-Base at main huggingface.co
- 4 Baidu Releases ERNIE 5.5 Flash Base for Further Training www.unite.ai
- 5 Baidu huggingface.co
- 6 GitHub - baidu/vLLM-ERNIE: vLLM-based inference plugin for the open-source ERNIE models. github.com
- 7 Can You Run ERNIE 5.5 Flash Base Locally? 288 GB of FP8 and ... modelfit.io
- 8 Baidu open-sources ERNIE 5.5 Flash Base, a 280B model with 14B active www.techcityauthority.com
- 9 Baidu open-sourced Wenxin 5.5 Flash, with a total parameter of 280 billion www.chaincatcher.com
- 10 ERNIE 5.5 Flash Base: Local VRAM and Hardware Fit www.madebyagents.com
- 11 baidu/ERNIE-5.5-Flash-Base at main huggingface.co
- 12 Models – Hugging Face huggingface.co
- 13 Reportedly: Baidu open-sources ERNIE-5.5-Flash-Base, a 280B-parameter MoE model with 14B active parameters aigc.news
- 14 ERNIE-5.5-Flash vs GLM-5.3 Flash: MIT vs custom licence www.orcarouter.ai
- 15 ERNIE 5.5 Flash Base 开源- 前沿快讯 linux.do
- 16 ERNIE 5.5 Flash Base Model Release tldr.tech
- 17 Baidu releases ERNIE 5.5 Flash Base with a $50M commercial line in the fine print runtimewire.com
- 18 Explainers - mlllm.io mlllm.io
- 19 Baidu Drops ERNIE 5.5 Flash, a Raw 280B Open Checkpoint Beating DeepSeek | AlphaSignal alphasignal.ai
- 20 Baidu released ERNIE 5.5 Flash Base daily.dev
- 21 Baidu open-sources ERNIE 5.5 Flash Base in a race to cheap inference startupfortune.com
