„Thinking Machines“ pristatė „Inkling-Small“: flagmano galia keturis kartus mažesniame modelyje

Ketvirtadienį „Thinking Machines Lab“ išleido „Inkling-Small“ – daugiarūšį atvirojo svorio modelį, kuris prilygsta arba viršija savo pirmtaką „Inkling“, naudodamas maždaug ketvirtadalį parametrų. Tai žingsnis, kuris dramatiškai sumažina skaičiavimo išteklius, reikalingus pažangios dirbtinio intelekto sistemos veikimui.

Mažesnis modelis, pasižymintis didele galia

„Inkling-Small“ naudoja „Mixture-of-Experts“ architektūrą su 276 mlrd. bendrų parametrų ir 12 mlrd. aktyvuotų parametrų kiekvienos užklausos metu, palyginti su „Inkling“ 975 mlrd. bendrų ir 41 mlrd. aktyvių parametrų. Modelis priima teksto, vaizdo ir garso įvestis bei palaiko iki vieno milijono žetonų (tokens) konteksto langą.siliconrepublic+1

„Thinking Machines“ teigimu, modelis prilygsta arba viršija „Inkling“ atliekant samprotavimo ir programavimo užduotis. „Humanity's Last Exam“ teste „Inkling-Small“ surinko daugiau nei 31 proc., palyginti su 29,7 proc. „Inkling“, o „SWE-Bench Verified“ teste viršijo 80 proc. „Artificial Analysis“ savo intelekto indekse jam skyrė 40 balų, tik vienu mažiau nei „Inkling“ gautu 41 balu.artificialanalysis+1

Bendrovė šiuos rezultatus pasiekė taikydama dviejų pakopų po-mokymo procesą: „Inkling“ naudojimą kaip mokytojo modelį (distiliavimą), po kurio sekė dvi savaitės į agentus orientuoto stiprinamojo mokymosi.kucoin

Mažesnės kliūtys patekti į rinką

Kai originaliam „Inkling“ modeliui reikėjo mažiausiai dviejų terabaitų bendros VRAM atminties BF16 kontroliniams taškams paleisti, „Inkling-Small“ šiuos reikalavimus smarkiai sumažina. Modelis yra prieinamas BF16 ir NVFP4 formatais „Hugging Face“ platformoje bei per „Thinking Machines“ „Tinker“ paslaugą.gigazine+1

„Tinker klientai patys įsitikino, kad tinkamai suderintas modelis gali pranokti uždaruosius modelius atliekant įvairias užduotis, be to, tai daro greičiau ir pigiau“, – teigė bendrovė. Dėl sumažinto masto „LoRA“ ir pilno parametrų derinimo galimybės tapo prieinamos vidutinio dydžio komandoms – tai, kas anksčiau buvo prieinama tik didelėms korporacijoms.kucoin+1

Neramumai užkulisiuose

Šis pristatymas vyksta „Nvidia“ ↗ 2.93% remiamo startuolio vadovybės sukrėtimų fone. Lilian Weng, viena iš šešių pradinių įkūrėjų, liepos 26 d. paskelbė apie savo pasitraukimą dėl sveikatos priežasčių, o paskutinė jos darbo diena buvo liepos 29 d. Nuo tada ji grįžo į „OpenAI“, kur vadovauja darbui prie rekursinio savęs tobulinimo. Iš pradinės komandos dabar liko tik Mira Murati ir Johnas Schulmanas.kucoin+3

„Thinking Machines“ savo pirmąjį modelį „Inkling“ pristatė liepos 15 d. Mažiau nei po dviejų savaičių bendrovė išleido jį pranokstantį įpėdinį – toks tempas rodo, kaip pati bendrovė tai įvardijo, „gamybos liniją“ modeliams kurti, o ne vienkartines pastangas.kucoin+1