Thinking Machines-ը թողարկել է Inkling-Small մոդելը, որը չորս անգամ փոքր է իր նախորդից

Thinking Machines Lab-ը հինգշաբթի օրը ներկայացրեց Inkling-Small մոդելը՝ բազմամոդալ բաց կոդով համակարգ, որը հավասարվում կամ գերազանցում է իր նախորդին՝ օգտագործելով պարամետրերի մոտ մեկ քառորդը։ Սա զգալիորեն նվազեցնում է առաջատար դասի AI համակարգերի աշխատանքի համար անհրաժեշտ հաշվողական հզորությունները։

Ավելի փոքր, բայց հզոր մոդել

Inkling-Small-ը օգտագործում է Mixture-of-Experts ճարտարապետություն՝ 276 միլիարդ ընդհանուր պարամետրով և 12 միլիարդ ակտիվացված պարամետրով յուրաքանչյուր ինֆերենցիայի ժամանակ, ի տարբերություն Inkling-ի 975 միլիարդ ընդհանուր և 41 միլիարդ ակտիվ պարամետրերի։ Մոդելը ընդունում է տեքստային, պատկերային և աուդիո մուտքային տվյալներ և աջակցում է մինչև մեկ միլիոն տոկեն կոնտեքստային պատուհան:siliconrepublic+1

Ըստ Thinking Machines-ի՝ մոդելը տրամաբանական և ծրագրավորման առաջադրանքներում հավասարվում կամ գերազանցում է Inkling-ին։ Humanity's Last Exam թեստում Inkling-Small-ը հավաքել է 31 տոկոսից ավելի՝ Inkling-ի 29.7 տոկոսի դիմաց, իսկ SWE-Bench Verified-ում այն հատել է 80 տոկոսի շեմը։ Artificial Analysis-ը նրան տվել է 40 միավոր իր Intelligence Index-ում, ինչը ընդամենը մեկ միավորով է ցածր Inkling-ի 41 միավորից:artificialanalysis+1

Ընկերությունը այս արդյունքներին հասել է երկփուլանի հետուսուցման գործընթացի միջոցով՝ Inkling-ը որպես ուսուցիչ մոդել օգտագործող դիստիլյացիա, որին հաջորդել է երկշաբաթյա գործակալային ամրապնդող ուսուցում:kucoin

Մուտքի շեմի նվազեցում

Եթե օրիգինալ Inkling-ը BF16 ստուգումների համար պահանջում էր առնվազն երկու տերաբայթ VRAM, ապա Inkling-Small-ը կտրուկ նվազեցնում է այդ պահանջները։ Մոդելը հասանելի է BF16 և NVFP4 ձևաչափերով Hugging Face-ում և Thinking Machines-ի Tinker ծառայության միջոցով:gigazine+1

"Tinker-ի հաճախորդները սեփական փորձով համոզվել են, որ ճիշտ թյունինգ արված մոդելը կարող է գերազանցել փակ մոդելներին մի շարք առաջադրանքներում՝ ավելի արագ և էժան լինելով", — հայտնել են ընկերությունից։ Փոքրացված մասշտաբը հնարավոր է դարձնում LoRA և լիարժեք պարամետրային թյունինգը միջին չափի թիմերի համար, ինչը նախկինում հասանելի էր միայն խոշոր կորպորացիաներին:kucoin+1

Խռովություններ կուլիսներում

Թողարկումը տեղի է ունենում Nvidia ↘ 1.47%-ի կողմից ֆինանսավորվող ստարտափում ղեկավարության փոփոխությունների ֆոնին։ Լիլիան Վենգը՝ վեց սկզբնական համահիմնադիրներից մեկը, հուլիսի 26-ին հայտարարեց իր հեռանալու մասին՝ պատճառաբանելով առողջական խնդիրներ, իսկ նրա վերջին աշխատանքային օրը հուլիսի 29-ն էր։ Նա այնուհետև վերադարձել է OpenAI՝ ղեկավարելու ռեկուրսիվ ինքնակատարելագործման աշխատանքները։ Հիմնադիր թիմից այժմ մնացել են միայն Միրա Մուրատին և Ջոն Շուլմանը:kucoin+3

Thinking Machines-ը իր առաջին մոդելը՝ Inkling-ը, գործարկել էր հուլիսի 15-ին։ Երկու շաբաթ անց ընկերությունը թողարկեց իր հաջորդին, որը գերազանցում է նախորդին։ Այս տեմպը վկայում է այն մասին, որ ընկերությունը ստեղծել է մոդելների արտադրության "հոսքագիծ", այլ ոչ թե մեկանգամյա նախագիծ:kucoin+1