Thinking Machines uvádí Inkling-Small: výkon vlajkové lodi ve čtvrtinovém balení

Společnost Thinking Machines Lab ve čtvrtek vydala Inkling-Small, multimodální model s otevřenými vahami, který vyrovnává nebo překonává svého předchůdce Inkling při použití zhruba čtvrtiny parametrů. Tento krok dramaticky snižuje výpočetní nároky na provoz špičkového systému umělé inteligence.

Menší model s velkým výkonem

Inkling-Small využívá architekturu Mixture-of-Experts s celkem 276 miliardami parametrů, z nichž je 12 miliard aktivováno při každé inferenci, v porovnání s 975 miliardami celkových a 41 miliardami aktivních parametrů u modelu Inkling. Model přijímá textové, obrazové i zvukové vstupy a podporuje kontextové okno o velikosti až jednoho milionu tokenů.siliconrepublic+1

Podle Thinking Machines model vyrovnává nebo překonává Inkling v úlohách zaměřených na uvažování a programování. V testu Humanity's Last Exam dosáhl Inkling-Small skóre přes 31 procent oproti 29,7 procentům u Inklingu a v testu SWE-Bench Verified překročil hranici 80 procent. Analytická společnost Artificial Analysis mu ve svém indexu inteligence udělila 40 bodů, tedy jen o jeden bod méně než 41 bodů u Inklingu.artificialanalysis+1

Společnost těchto výsledků dosáhla prostřednictvím dvoufázového procesu po tréninku: on-policy destilace s využitím Inklingu jako učitelského modelu, následované dvěma týdny posilovaného učení zaměřeného na agenty.kucoin

Snížení bariéry vstupu

Zatímco původní Inkling vyžadoval minimálně dva terabajty agregované VRAM pro spuštění kontrolních bodů BF16, Inkling-Small tyto požadavky výrazně snižuje. Model je k dispozici ve formátech BF16 i NVFP4 na platformě Hugging Face a prostřednictvím služby Tinker od Thinking Machines.gigazine+1

"Zákazníci služby Tinker se na vlastní kůži přesvědčili, že správně vyladěný model může překonat uzavřené modely v řadě úkolů, a to rychleji a levněji," uvedla společnost. Snížené měřítko umožňuje provádět LoRA a plné ladění parametrů i středně velkým týmům, což byla schopnost dříve omezená pouze na velké korporace.kucoin+1

Turbulence v zákulisí

Vydání přichází uprostřed probíhajících otřesů ve vedení startupu podporovaného společností Nvidia ↗ 2.93%. Lilian Weng, jedna ze šesti původních spoluzakladatelek, oznámila svůj odchod 26. července ze zdravotních důvodů, přičemž jejím posledním dnem byl 29. červenec. Od té doby se vrátila do OpenAI, aby vedla práci na rekurzivním sebezdokonalování. Ze zakládajícího týmu nyní zbývají pouze Mira Murati a John Schulman.kucoin+3

Thinking Machines uvedla svůj první model Inkling 15. července. O necelé dva týdny později vydala nástupce, který jej překonává – tempo, které naznačuje, jak to sama firma popsala, "výrobní linku" na generování modelů namísto jednorázového úsilí.kucoin+1