AMD kynnir opið gervigreindarlíkan þjálfað á eigin skjákortum

AMD Advanced Micro Devices, Inc. ↗ 5.45% sendi frá sér Instella-MoE þann 24. júlí. Um er að ræða alveg opið málstikralíkan af gerðinni „mixture-of-experts“ með 16 milljarða stika alls, þjálfað frá grunni á AMD Instinct MI300X og MI325X skjákortum. Útgáfan nær yfir líkansvægi frá öllum þjálfunarstigum, þjálfunarstillingar, gagnablöndur, millipunkta og ályktunarkóða, sem gerir hana að einni gagnsæjustu útgáfu á stóru gervigreindarlíkani til þessa.

Samkeppnishæft opið líkan með hóflegum reiknikostnaði

Instella-MoE virkjar aðeins 2,8 milljarða af 16 milljörðum stika sinna fyrir hvert tákn, sem heldur ályktunarkostnaði nær kostnaði miklu minni þéttra líkana, en skilar samt niðurstöðum sem AMD segir vera í fararbroddi meðal alveg opinna líkana af svipaðri stærð. Á staðlaðri árangursmælingu náði grunnlíkanið meðaltalseinkunninni 76,7, sem er betra en SmolLM3-3B-Base og OLMo-3-7B, og samkeppnishæft við opin líkön á borð við Moonlight-16B-A3B. Líkanið styður 64K-tákna samhengisglugga og gekk í gegnum sex stiga þjálfunarferli sem náði yfir fyrirþjálfun, miðþjálfun, framlengingu á samhengi, leiðbeint fínstillingarferli, beina kjörstillingarbestun og styrkingarnám.weex+1

Bygging líkansins notar tvær nýjar tæknifræðilegar lausnir: Gated Multi-head Latent Attention, sem bætir við lærðu hliði til að sía út lítið nýtandi athyglissvör, og FarSkip-Collective, tengiaðferð sem skarar samskipti og reikninga í sérfræðingasamskrefa þjálfun, sem skilar 12,7% hraðaaukningu í fyrirþjálfun og allt að 39,2% styttingu á tíma til fyrsta tákns í ályktun.rocm.blogs.amd

Tilraun AMD til að ná fótfestu í þjálfun gervigreindar

Útgáfan byggir á fyrri Instella-röð AMD af 3 milljarða stika líknum sem kynnt var árið 2025 og fylgir í kjölfar ZAYA1 frá Zyphra, öðru stóru MoE-líkani sem var þjálfað á MI300X vélbúnaði á síðasta ári. Samanlagt sýna þessar tilraunir viðleitni AMD til að sanna að skjákort fyrirtækisins og ROCm-hugbúnaðarstakkinn geti staðið undir gervigreindarþróun á fremsta stigi, en sá markaður hefur lengi verið undir yfirburðum Nvidia ↗ 0.90% og CUDA-vistkerfis þess.reddit+2

AMD gaf Instella-MoE út undir Research RAIL-leyfi fyrir fræðilega notkun og rannsóknir. Fyrirtækið sagðist ætla að halda áfram að þróa þetta starf með stærri líknum og frekari skilvirknibótum.rocm.blogs.amd