Thinking Machines lanserer Inkling-Small: matcher flaggskipet til en fjerdedel av størrelsen

Thinking Machines Lab lanserte torsdag Inkling-Small, en multimodal modell med åpne vekter som matcher eller overgår forgjengeren Inkling, til tross for at den kun bruker omtrent en fjerdedel av parameterne. Dette grepet reduserer beregningsbehovet for å kjøre et AI-system i toppklassen betraktelig.

En mindre modell med stor slagkraft

Inkling-Small benytter en Mixture-of-Experts-arkitektur med 276 milliarder totale parametere, hvorav 12 milliarder aktiveres per inferens, sammenlignet med Inklings 975 milliarder totalt og 41 milliarder aktive parametere. Modellen aksepterer tekst, bilde og lyd som input, og støtter et kontekstvindu på opptil én million tokens.siliconrepublic+1

Ifølge Thinking Machines matcher eller overgår modellen Inkling når det gjelder resonnering og agentbaserte kodingsoppgaver. På Humanity's Last Exam scoret Inkling-Small over 31 prosent, mot Inklings 29,7 prosent, og på SWE-Bench Verified passerte den 80 prosent. Artificial Analysis ga den 40 poeng på sin Intelligence Index, kun ett poeng under Inklings 41.artificialanalysis+1

Selskapet oppnådde disse resultatene gjennom en totrinns ettertreningsprosess: on-policy destillering med Inkling som lærer-modell, etterfulgt av to uker med agentfokusert forsterkningslæring.kucoin

Senker terskelen for bruk

Der den opprinnelige Inkling krevde minst to terabyte med aggregert VRAM for å kjøre BF16-sjekkpunkter, reduserer Inkling-Small disse kravene kraftig. Modellen er tilgjengelig i både BF16- og NVFP4-formater på Hugging Face og via Thinking Machines' Tinker-tjeneste.gigazine+1

"Tinker-kunder har sett med egne øyne at den rette finjusterte modellen kan utkonkurrere lukkede modeller på en rekke oppgaver, og gjøre det raskere og billigere," uttalte selskapet. Den reduserte skalaen gjør LoRA og full-parameter finjustering mulig for mellomstore team, en kapasitet som tidligere var begrenset til store selskaper.kucoin+1

Turbulens bak kulissene

Lanseringen skjer midt i en pågående lederuro hos den Nvidia ↗ 1.75%-støttede oppstartsbedriften. Lilian Weng, en av seks opprinnelige medgründere, kunngjorde sin avgang 26. juli med henvisning til helsemessige årsaker, og hennes siste dag var 29. juli. Hun har siden returnert til OpenAI for å lede arbeidet med rekursiv selvforbedring. Kun Mira Murati og John Schulman er nå igjen fra det opprinnelige teamet.kucoin+3

Thinking Machines lanserte sin første modell, Inkling, 15. juli. Mindre enn to uker senere sendte de ut en etterfølger som utkonkurrerer den, et tempo som tyder på, slik selskapet selv formulerte det, en "produksjonslinje" for generering av modeller fremfor en engangsinnsats.kucoin+1