AMD släpper öppen AI-modell tränad på egna grafikkort

AMD Advanced Micro Devices, Inc. ↗ 11.04% lanserade den 24 juli Instella-MoE, en helt öppen mixture-of-experts-språkmodell med totalt 16 miljarder parametrar tränad från grunden på AMD Instinct MI300X- och MI325X-grafikkort. Lanseringen inkluderar modellvikter från samtliga träningssteg, träningskonfigurationer, datablandningar, mellanliggande kontrollpunkter och inferenskod, vilket gör den till en av de mest transparenta lanseringarna av storskaliga AI-modeller hittills.

En konkurrenskraftig öppen modell till måttlig beräkningskostnad

Instella-MoE aktiverar bara 2,8 miljarder av sina 16 miljarder parametrar per token. Det håller inferenskostnaderna nära dem för en betydligt mindre tät modell, samtidigt som den levererar resultat som enligt AMD är ledande bland helt öppna modeller av motsvarande storlek. I standardiserade prestandatester uppnådde grundmodellen ett genomsnitt på 76,7 poäng, vilket är bättre än SmolLM3-3B-Base och OLMo-3-7B, och konkurrenskraftigt med öppna modeller som Moonlight-16B-A3B. Modellen stöder kontextfönster på 64K tokens och genomgick en träningspipeline i sex steg som omfattade förträning, mid-training, förlängning av kontext, övervakad finjustering, direkt preferensoptimering och förstärkningsinlärning.weex+1

Arkitekturen innehåller två nya tekniker: Gated Multi-head Latent Attention, som lägger till en inlärd spärr för att selektivt filtrera bort mindre användbara uppmärksamhetsresponser, och FarSkip-Collective, en anslutningsmetod som överlappar kommunikation med beräkning under expertparallell träning. Detta ger en hastighetsökning på 12,7 % vid förträning och upp till 39,2 % lägre tid till första token under inferens.rocm.blogs.amd

AMD:s satsning på trovärdighet inom AI-träning

Lanseringen bygger vidare på AMD:s tidigare Instella-serie med modeller på 3 miljarder parametrar som introducerades 2025, samt Zyphras ZAYA1, en annan storskalig MoE-modell som tränades på MI300X-hårdvara förra året. Tillsammans utgör dessa insatser AMD:s kampanj för att bevisa att bolagets grafikkort och mjukvarustack ROCm kan driva AI-utveckling i absolut framkant, en marknad som länge dominerats av Nvidia ↗ 2.78% och deras CUDA-ekosystem.reddit+2

AMD har licensierat Instella-MoE under en Research RAIL-licens för akademisk användning och forskning. Bolaget uppgav att man planerar att fortsätta utveckla arbetet med större modeller och ytterligare effektivitetsförbättringar.rocm.blogs.amd