Thinking Machines lanserar Inkling-Small: matchar flaggskeppet till en fjärdedel av storleken

Thinking Machines Lab lanserade på torsdagen Inkling-Small, en multimodal modell med öppna vikter som matchar eller överträffar föregångaren Inkling trots att den använder ungefär en fjärdedel av parametrarna. Detta är ett steg som dramatiskt sänker beräkningskraven för att köra ett AI-system i toppklass.

En mindre modell med stor kraft

Inkling-Small använder en Mixture-of-Experts-arkitektur med 276 miljarder totala parametrar, varav 12 miljarder aktiveras per inferens, jämfört med Inklings 975 miljarder totalt och 41 miljarder aktiva parametrar. Modellen accepterar text, bild och ljud som input och stöder ett kontextfönster på upp till en miljon tokens.siliconrepublic+1

Enligt Thinking Machines matchar eller överträffar modellen Inkling när det gäller resonemang och agentbaserade kodningsuppgifter. På Humanity's Last Exam fick Inkling-Small över 31 procent jämfört med Inklings 29,7 procent, och på SWE-Bench Verified passerade den 80 procent. Artificial Analysis gav den 40 poäng på sitt Intelligence Index, bara en poäng under Inklings 41.artificialanalysis+1

Företaget uppnådde dessa resultat genom en tvåstegsprocess för efterträning: on-policy destillering med Inkling som lärarmodell, följt av två veckors agentfokuserad förstärkningsinlärning.kucoin

Lägre tröskel för inträde

Där den ursprungliga Inkling krävde minst två terabyte aggregerat VRAM för att köra BF16-checkpointar, sänker Inkling-Small dessa krav avsevärt. Modellen finns tillgänglig i både BF16- och NVFP4-format på Hugging Face och via Thinking Machines tjänst Tinker.gigazine+1

"Tinker-kunder har sett själva att rätt finjusterade modell kan överträffa stängda modeller på en mängd olika uppgifter, och göra det snabbare och billigare", uppgav företaget. Den reducerade skalan gör LoRA och full-parameter finjustering genomförbart för medelstora team, en förmåga som tidigare var begränsad till stora företag.kucoin+1

Turbulens bakom kulisserna

Lanseringen sker mitt i en pågående ledningskris hos den Nvidia ↘ 1.47%-stödda startupen. Lilian Weng, en av sex ursprungliga medgrundare, meddelade sin avgång den 26 juli med hänvisning till hälsoskäl, och hennes sista dag var den 29 juli. Hon har sedan dess återvänt till OpenAI för att leda arbetet med rekursiv självförbättring. Endast Mira Murati och John Schulman finns nu kvar från grundarteamet.kucoin+3

Thinking Machines lanserade sin första modell, Inkling, den 15 juli. Mindre än två veckor senare skickade de ut en efterföljare som överträffar den, ett tempo som tyder på, som företaget uttryckte det, en "produktionslinje" för att generera modeller snarare än en engångsinsats.kucoin+1