AMD-ն թողարկել է սեփական GPU-ների վրա վերապատրաստված բաց կոդով AI մոդել

AMD Advanced Micro Devices, Inc. ↗ 11.04%-ն հուլիսի 24-ին թողարկել է Instella-MoE-ն, որը 16 միլիարդ ընդհանուր պարամետրերով ամբողջությամբ բաց փորձագետների խառնուրդի (MoE) լեզվական մոդել է, որը զրոյից վերապատրաստվել է AMD Instinct MI300X և MI325X GPU-ների վրա: Թողարկումը ներառում է մոդելի կշիռները վերապատրաստման յուրաքանչյուր փուլից, վերապատրաստման կոնֆիգուրացիաները, տվյալների խառնուրդները, միջանկյալ ստուգակետերը և եզրահանգման կոդը. ինչն այն դարձնում է մինչ օրս խոշորամասշտաբ AI մոդելների ամենաթափանցիկ թողարկումներից մեկը:

Մրցունակ բաց մոդել հաշվարկային չափավոր ծախսերով

Instella-MoE-ն յուրաքանչյուր թոքենի համար ակտիվացնում է իր 16 միլիարդ պարամետրերից ընդամենը 2.8 միլիարդը՝ պահպանելով եզրահանգման ծախսերը շատ ավելի փոքր խիտ մոդելների ծախսերին մոտ: Միևնույն ժամանակ այն ապահովում է արդյունքներ, որոնք, AMD-ի հայտարարությամբ, առաջատար են համադրելի չափսի ամբողջությամբ բաց կոդով մոդելների շարքում: Ստանդարտ թեստերում հիմնական մոդելն արձանագրել է 76.7 միջին միավոր՝ առաջ անցնելով SmolLM3-3B-Base-ից և OLMo-3-7B-ից և մրցունակ լինելով բաց կշիռներով մոդելների հետ, ինչպիսին է Moonlight-16B-A3B-ն: Մոդելն աջակցում է 64K թոքենով համատեքստի պատուհաններ և անցել է վերապատրաստման վեցափուլ գործընթաց, որն ընդգրկում է նախնական վերապատրաստումը, միջանկյալ վերապատրաստումը, երկար համատեքստի ընդլայնումը, վերահսկվող ճշգրտումը, նախապատվությունների ուղղակի օպտիմալացումը և ամրապնդմամբ ուսուցումը:weex+1

Ճարտարապետությունը ներառում է երկու նորարարական տեխնիկա: Gated Multi-head Latent Attention, որն ավելացնում է ուսուցանված դարպաս՝ ցածր օգտակարության ուշադրության արձագանքները ընտրողաբար ֆիլտրելու համար, և FarSkip-Collective, կապի մեթոդ, որը համատեղում է հաղորդակցությունը հաշվարկների հետ փորձագիտական-զուգահեռ վերապատրաստման ընթացքում՝ ապահովելով 12.7% արագացում նախնական վերապատրաստման ժամանակ և մինչև 39.2% կրճատում եզրահանգման ընթացքում առաջին թոքենի ստացման ժամանակում:rocm.blogs.amd

AMD-ի քայլը AI վերապատրաստման վստահելիությունը ամրապնդելու ուղղությամբ

Թողարկումը հիմնված է AMD-ի ավելի վաղ ներկայացված Instella շարքի 3 միլիարդ պարամետրով մոդելների վրա, որոնք թողարկվել էին 2025 թվականին, և հաջորդում է Zyphra-ի ZAYA1-ին՝ անցյալ տարի MI300X սարքաշարի վրա վերապատրաստված խոշորամասշտաբ MoE մեկ այլ մոդելի: Միասին այս ջանքերը ներկայացնում են AMD-ի արշավը՝ ապացուցելու, որ իր GPU-ները և ROCm ծրագրային փաթեթը կարող են աջակցել առաջնագծի AI-ի մշակմանը. մի շուկա, որտեղ երկար ժամանակ գերիշխում է Nvidia-ն ↗ 2.78% և նրա CUDA էկոհամակարգը:reddit+2

AMD-ն լիցենզավորել է Instella-MoE-ն Research RAIL լիցենզիայով՝ ակադեմիական և հետազոտական օգտագործման համար: Ընկերությունը նշել է, որ ծրագրում է շարունակել ընդլայնել այս աշխատանքը ավելի մեծ մոդելներով և արդյունավետության հետագա բարելավումներով:rocm.blogs.amd