AMD lanserer åpen KI-modell trent på egne grafikkort

AMD Advanced Micro Devices, Inc. ↗ 11.04% lanserte Instella-MoE den 24. juli, en helt åpen "mixture-of-experts"-språkmodell med totalt 16 milliarder parametere, trent fra bunnen av på AMD Instinct MI300X- og MI325X-skjermkort. Utgivelsen inkluderer modellvekter fra alle treningstrinn, treningskonfigurasjoner, datablandinger, midlertidige sjekkpunkter og inferenskode, noe som gjør den til en av de mest transparente storskala KI-modellanseringene til nå.

En konkurransedyktig åpen modell til lavere beregningskostnad

Instella-MoE aktiverer bare 2,8 milliarder av sine 16 milliarder parametere per token. Dette holder inferenskostnadene nær nivået til en mye mindre tett modell, samtidig som den leverer resultater som AMD sier er ledende blant helt åpne kildekodemodeller av tilsvarende størrelse. På standard ytelsestester oppnådde basemodellen en gjennomsnittlig score på 76,7, foran SmolLM3-3B-Base og OLMo-3-7B, og konkurransedyktig med åpne vektmodeller som Moonlight-16B-A3B. Modellen støtter kontekstvinduer på 64K tokens og gikk gjennom en seks-trinns treningsprosess som omfattet før-trening, midt-trening, utvidelse til lang kontekst, veiledet finjustering, direkte preferanseoptimalisering og forsterkningslæring.weex+1

Arkitekturen inneholder to nye teknikker: Gated Multi-head Latent Attention, som legger til en lært port for selektivt å filtrere ut oppmerksomhetsresponser med lav nytteverdi, og FarSkip-Collective, en tilkoblingsmetode som overlapper kommunikasjon med beregning under ekspertparallell trening. Dette gir en hastighetsøkning på 12,7 % under før-trening og opptil 39,2 % reduksjon i tid til første token under inferens.rocm.blogs.amd

AMDs fremstøt for troverdighet innen KI-trening

Lanseringen bygger videre på AMDs tidligere Instella-serie av modeller med 3 milliarder parametere introdusert i 2025, og følger Zyphras ZAYA1, en annen storskala MoE-modell som ble trent på MI300X-maskinvare i fjor. Sammen utgjør denne innsatsen AMDs kampanje for å bevise at selskapets skjermkort og ROCm-programvarestabel kan støtte KI-utvikling i spissklassen, et marked som lenge har vært dominert av Nvidia ↗ 2.78% og deres CUDA-økosystem.reddit+2

AMD har lisensiert Instella-MoE under en Research RAIL-lisens for akademisk bruk og forskning. Selskapet opplyste at det planlegger å videreføre dette arbeidet med større modeller og ytterligere effektivitetsforbedringer.rocm.blogs.amd