AMD julkaisi omilla grafiikkaprosessoreillaan koulutetun avoimen tekoälymallin

AMD Advanced Micro Devices, Inc. ↗ 11.04% julkaisi 24. heinäkuuta Instella-MoE-kielimallin. Kyseessä on täysin avoin, 16 miljardin parametrin MoE-malli (mixture-of-experts), joka on koulutettu alusta alkaen AMD Instinct MI300X- ja MI325X -näytönohjaimilla. Julkaisu sisältää mallien painot jokaisesta koulutusvaiheesta, koulutusasetukset, datasekoitukset, välitarkistuspisteet ja päättelykoodin: tämä tekee siitä yhden tähän asti läpinäkyvimmistä laajamittaisista tekoälymallien julkaisuista.

Kilpailukykyinen avoin malli maltillisilla laskentakustannuksilla

Instella-MoE aktivoi vain 2,8 miljardia 16 miljardista parametristaan merkkiä kohti. Tämä pitää päättelykustannukset lähellä huomattavasti pienemmän tiiviin mallin kustannuksia ja tarjoaa silti tuloksia, joiden AMD sanoo olevan kärkeä saman kokoluokan täysin avoimien mallien joukossa. Standardoiduissa vertailutesteissä perusmalli saavutti 76,7 pisteen keskiarvon, mikä oli parempi kuin SmolLM3-3B-Base ja OLMo-3-7B, ja kilpailukykyinen Moonlight-16B-A3B:n kaltaisten avointen painojen mallien kanssa. Malli tukee 64K-tokenin konteksti-ikkunoita ja kävi läpi kuusivaiheisen koulutusputken, joka kattoi esikoulutuksen, keskivaiheen koulutuksen, pitkän kontekstin laajennuksen, valvotun hienosäädön, suoran preferenssioptimoinnin ja vahvistusoppimisen.weex+1

Arkkitehtuuri sisältää kaksi uutta tekniikkaa: Gated Multi-head Latent Attention -menetelmän, joka lisää opitun portin vähän hyödyttävien huomiovasteiden valikoivaan suodatukseen, sekä FarSkip-Collective-yhteysmenetelmän, joka limittää tiedonsiirron ja laskennan asiantuntijaparalleelin koulutuksen aikana. Tämä nopeuttaa esikoulutusta 12,7 prosenttia ja lyhentää päättelyn ensimmäisen merkin viivettä jopa 39,2 prosenttia.rocm.blogs.amd

AMD hakee uskottavuutta tekoälykoulutuksessa

Julkaisu jatkaa AMD:n aiempaa, vuonna 2025 esiteltyä 3 miljardin parametrin Instella-sarjaa ja seuraa Zyphran ZAYA1-mallia, joka oli toinen laajamittainen MI300X-laitteistolla viime vuonna koulutettu MoE-malli. Yhdessä nämä hankkeet edustavat AMD:n kampanjaa sen osoittamiseksi, että sen grafiikkaprosessorit ja ROCm-ohjelmistopino pystyvät tukemaan huipputason tekoälykehitystä: tätä markkinaa on pitkään hallinnut Nvidia ↗ 2.78% ja sen CUDA-ekosysteemi.reddit+2

AMD lisensoi Instella-MoE-mallin Research RAIL -lisenssillä akateemiseen ja tutkimuskäyttöön. Yhtiö ilmoitti suunnittelevansa työn jatkamista suuremmilla malleilla ja uusilla tehokkuusparannuksilla.rocm.blogs.amd