Baidu lanserer åpen ERNIE 5.5 Flash Base-modell

Baidu ↘ 2.18% lanserte ERNIE-5.5-Flash-Base torsdag 5. november. Dette er en åpen «sparse mixture-of-experts»-språkmodell med 280 milliarder parametere totalt, hvorav 14 milliarder aktiveres per token, ifølge selskapets offisielle kunngjøring. Vektene representerer sjekkpunktet ved slutten av forhåndstreningen, før videre finjustering. Baidu presenterer modellen som et felles utgangspunkt for domenetilpasning, instruksjonsjustering og forskning på forsterkningslæring. Selskapet opplyser at en chat-klar versjon er underveis: «Denne basemodellen er bare et utgangspunkt. Den etterbehandlede ERNIE 5.5 Flash vil følge senere,» skriver ERNIE-teamet.ernie.baidu.com

Bygget for effektivitet

Baidu opplyser at de har forhåndstrent modellen fra bunnen av på 33,5 billioner tokens med en treningskontekst på opptil 128 000 tokens, og at den støtter en kontekst på 1 million tokens for finjustering og inferens. Modellkortet oppgir 43 lag. 37 av disse bruker en komprimert oppmerksomhetsmekanisme som lagrer én cache-oppføring per 128-tokens blokk, og nesten hvert lag ruter til 10 av 512 eksperter pluss én delt ekspert, melder Unite.AI. Baidu uttalte at «effektivitet var et designmål fra starten av», og at de utviklet modellen og treningssystemet i sammenheng.unite.ai+1

I Baidus egne tester utkonkurrerte modellen rivaliserende basemodeller som DeepSeek-V4-Flash-Base, Hy3-preview-Base og MiMo-V2.5-Base på de fleste målinger. Den oppnådde 93,3 på MMLU og 82,3 på HumanEval+, men lå bak på FullStackBench og InfiniteBench. Ingen uavhengig evaluering er publisert så langt.ernie.baidu.com+1

Tilgjengelighet og maskinvare

Vektene er tilgjengelige på Hugging Face i FP8- og BF16-safetensors-formater. Utviklere kan kjøre modellen med vLLM og SGLang via completions-API-et, og Baidu har publisert en vLLM-plugin som viser den etterbehandlede ERNIE-5.5-Flash som «kommer snart». Kjøring av modellen krever kraftig maskinvare. Bare FP8-sjekkpunktet er på omtrent 288 GB, og NVIDIAs ↘ 8.58% oppskrift for finjustering av hele modellen krever 16 noder med fire GB300 GPU-er hver.huggingface.co+3

En restriktiv lisens

Modellen er utgitt under Baidus tilpassede ERNIE 5.5 Flash Base Model License Agreement v1.0. Rettighetene gjelder kun innenfor et «territorium» som dekker alle områder unntatt EU, Storbritannia og Sør-Korea. Ikke-kommersiell bruk er gratis. Kommersielle brukere med opptil 50 millioner dollar i årlig relatert inntekt må sende Baidu et engangsvarsel og vise «Powered by ERNIE», mens større selskaper trenger skriftlig forhåndsgodkjenning fra Baidu. Lisensen forbyr også bruk av modellen eller dens utdata til å forbedre urelaterte AI-systemer, noe som begrenser destillering. Foreløpig bemerker en analyse at «åpen» beskriver om vektene kan lastes ned, snarere enn hva brukere har lov til å gjøre med dem.huggingface.co+2