AMD uvádí na trh otevřený AI model vytrénovaný na vlastních GPU

Společnost AMD (Advanced Micro Devices, Inc.) ↗ 11.04% vydala 24. července plně otevřený jazykový model typu mixture-of-experts s názvem Instella-MoE. Model má celkem 16 miliard parametrů a byl od základu vytrénován na GPU akcelerátorech AMD Instinct MI300X a MI325X. Vydání zahrnuje váhy modelu ze všech fází trénování, tréninkové konfigurace, datové směsi, průběžné kontrolní body i kód pro inferenci. Jde tak o jedno z nejtransparentnějších vydání velkého AI modelu v historii.

Konkurenceschopný otevřený model s nízkými výpočetními náklady

Instella-MoE aktivuje pouze 2,8 miliardy ze svých 16 miliard parametrů na token. Náklady na inferenci se díky tomu blíží výrazně menším hustým (dense) modelům, zatímco podle AMD dosahuje nejlepších výsledků mezi plně otevřenými modely srovnatelné velikosti. V standardních benchmarkových testech dosáhl základní model průměrného skóre 76,7, čímž překonal modely SmolLM3-3B-Base i OLMo-3-7B a drží krok s modely s otevřenými váhami, jako je Moonlight-16B-A3B. Model podporuje kontextové okno o velikosti 64 tisíc tokenů a prošel šestifázovým tréninkovým procesem zahrnujícím pre-training, mid-training, rozšíření dlouhého kontextu, ladění s dohledem (supervised fine-tuning), přímou optimalizaci preferencí a posilované učení.weex+1

Architektura využívá dvě nové techniky: Gated Multi-head Latent Attention, která přidává naučenou hradlovou funkci k selektivnímu filtrování málo užitečných odezev pozornosti, a FarSkip-Collective, což je metoda propojení překrývající komunikaci s výpočtem během tréninku s expert-paralelismem. Tato metoda přinesla zrychlení předtrénování o 12,7 % a zkrácení doby do vygenerování prvního tokenu (time-to-first-token) při inferenci až o 39,2 %.rocm.blogs.amd

Snaha AMD o získání důvěryhodnosti v trénování AI

Tato novinka navazuje na dřívější řadu modelů Instella se 3 miliardami parametrů od AMD představenou v roce 2025 a na model ZAYA1 od společnosti Zyphra, což byl další velký MoE model vytrénovaný na hardwaru MI300X v minulém roce. Tyto iniciativy společně představují snahu AMD dokázat, že její GPU a softwarový stack ROCm dokáží podporovat vývoj špičkové AI. Tento trh dlouhodobě ovládá společnost Nvidia ↗ 2.78% a její ekosystém CUDA.reddit+2

AMD poskytla model Instella-MoE pod licencí Research RAIL pro akademické a výzkumné účely. Společnost uvedla, že plánuje v této práci pokračovat a představit ještě větší modely s dalším zvýšením efektivity.rocm.blogs.amd