Baidu släpper öppen ERNIE 5.5 Flash Base-modell

Baidu ↘ 2.18% släppte ERNIE-5.5-Flash-Base torsdagen den 5 november. Det är en öppen "sparse mixture-of-experts"-språkmodell med totalt 280 miljarder parametrar, varav 14 miljarder aktiveras per token, enligt företagets officiella uttalande. Vikterna är hämtade från kontrollpunkten vid slutet av förträningen, innan någon vidare finjustering. Baidu marknadsför den som en gemensam startpunkt för domänanpassning, instruktionsjustering och forskning inom förstärkningsinlärning. Företaget meddelar att en chattfärdig version är på väg: "Denna basmodell är bara en startpunkt. Den eftertränade ERNIE 5.5 Flash kommer att följa," skriver ERNIE-teamet.ernie.baidu.com

Byggd för effektivitet

Baidu uppger att de förtränat modellen från grunden på 33,5 biljoner tokens med en träningskontext på upp till 128 000 tokens, och att den stöder en kontext på 1 miljon tokens för finjustering och inferens. Modellkortet listar 43 lager. Trettiosju av dessa använder ett komprimerat uppmärksamhetsschema som lagrar en cache-post per 128-tokens block, och nästan varje lager dirigerar till 10 av 512 experter plus en delad expert, rapporterar Unite.AI. Baidu sade att "effektivitet var ett designmål från början" och att de designade modellen och dess träningssystem tillsammans.unite.ai+1

I Baidus egna tester överträffade modellen konkurrerande basmodeller som DeepSeek-V4-Flash-Base, Hy3-preview-Base och MiMo-V2.5-Base på de flesta riktmärken. Den fick 93,3 på MMLU och 82,3 på HumanEval+, men hamnade efter på FullStackBench och InfiniteBench. Ingen oberoende utvärdering har publicerats än så länge.ernie.baidu.com+1

Tillgänglighet och hårdvara

Vikterna finns på Hugging Face i FP8- och BF16-safetensors-format. Utvecklare kan köra modellen med vLLM och SGLang via completions-API:et, och Baidu har publicerat ett vLLM-plugin som listar den eftertränade ERNIE-5.5-Flash som "kommer snart". Att köra den kräver kraftfull hårdvara. Bara FP8-kontrollpunkten är cirka 288 GB, och NVIDIAs ↘ 8.58% recept för finjustering av hela modellen använder 16 noder med fyra GB300 GPU:er vardera.huggingface.co+3

En restriktiv licens

Modellen släpps under Baidus anpassade ERNIE 5.5 Flash Base Model License Agreement v1.0. Rättigheterna gäller endast inom ett "territorium" som täcker allt utom EU, Storbritannien och Sydkorea. Icke-kommersiell användning är gratis. Kommersiella användare med upp till 50 miljoner dollar i årlig relaterad intäkt måste skicka ett engångsmeddelande till Baidu och visa "Powered by ERNIE", medan större företag behöver Baidus skriftliga förhandsgodkännande. Licensen förbjuder också användning av modellen eller dess utdata för att förbättra obesläktade AI-system, vilket begränsar destillering. För närvarande noterar en analys att "öppen" beskriver om vikterna kan laddas ner snarare än vad användare får göra med dem.huggingface.co+2