Thinking Machines startet Inkling-Small: Flaggschiff-Leistung bei einem Viertel der Größe

Thinking Machines Lab hat am Donnerstag Inkling-Small veröffentlicht, ein multimodales Modell mit offenen Gewichten, das seinen Vorgänger Inkling bei nur etwa einem Viertel der Parameter erreicht oder übertrifft. Dieser Schritt senkt die Rechenanforderungen für den Betrieb eines KI-Systems der Spitzenklasse drastisch.

Ein kleineres Modell mit großer Wirkung

Inkling-Small nutzt eine Mixture-of-Experts-Architektur mit insgesamt 276 Milliarden Parametern, von denen 12 Milliarden pro Inferenz aktiviert werden, verglichen mit Inklings 975 Milliarden Gesamtparametern und 41 Milliarden aktiven Parametern. Das Modell akzeptiert Text-, Bild- und Audioeingaben und unterstützt ein Kontextfenster von bis zu einer Million Token.siliconrepublic+1

Laut Thinking Machines erreicht oder übertrifft das Modell Inkling bei logischen Schlussfolgerungen und agentenbasierten Programmieraufgaben. Beim Humanity's Last Exam erzielte Inkling-Small über 31 Prozent im Vergleich zu Inklings 29,7 Prozent, und beim SWE-Bench Verified überschritt es die 80-Prozent-Marke. Artificial Analysis bewertete es mit 40 Punkten auf seinem Intelligence Index, nur einen Punkt unter Inklings 41.artificialanalysis+1

Das Unternehmen erzielte diese Ergebnisse durch einen zweistufigen Post-Training-Prozess: On-Policy-Destillation mit Inkling als Lehrermodell, gefolgt von zwei Wochen agentenfokussiertem Reinforcement Learning.kucoin

Senkung der Eintrittsbarrieren

Während das ursprüngliche Inkling mindestens zwei Terabyte an aggregiertem VRAM für den Betrieb von BF16-Checkpoints erforderte, senkt Inkling-Small diese Anforderungen deutlich. Das Modell ist sowohl in BF16- als auch in NVFP4-Formaten auf Hugging Face und über den Tinker-Dienst von Thinking Machines verfügbar.gigazine+1

"Tinker-Kunden haben aus erster Hand erfahren, dass das richtige feinabgestimmte Modell geschlossene Modelle bei einer Vielzahl von Aufgaben übertreffen kann, und das schneller und kostengünstiger", so das Unternehmen. Die reduzierte Skalierung macht LoRA und Full-Parameter-Fine-Tuning für mittelgroße Teams machbar, eine Fähigkeit, die zuvor auf große Konzerne beschränkt war.kucoin+1

Turbulenzen hinter den Kulissen

Die Veröffentlichung erfolgt inmitten anhaltender Führungsumbrüche bei dem von Nvidia ↘ 1.47% unterstützten Startup. Lilian Weng, eine der sechs ursprünglichen Mitgründerinnen, gab am 26. Juli ihren Rücktritt aus gesundheitlichen Gründen bekannt; ihr letzter Arbeitstag war der 29. Juli. Sie ist inzwischen zu OpenAI zurückgekehrt, um die Arbeit an rekursiver Selbstverbesserung zu leiten. Vom Gründungsteam sind nur noch Mira Murati und John Schulman übrig.kucoin+3

Thinking Machines brachte sein erstes Modell, Inkling, am 15. Juli auf den Markt. Weniger als zwei Wochen später lieferte das Unternehmen einen Nachfolger, der das Original übertrifft – ein Tempo, das, wie das Unternehmen es formulierte, auf eine "Produktionslinie" zur Modellgenerierung hindeutet und nicht auf eine einmalige Anstrengung.kucoin+1