Nvidia vydává bezplatný open-source AI model pro agenty

Společnost Nvidia ↘ 1.47% v úterý vydala Nemotron 3.5 Lightning, bezplatný open-source AI model pro firemní využití, který dokáže běžet na jediném GPU. Spolu s ním představila nový nástroj pro směrování modelů s názvem NeMo Switchyard, který má snížit náklady na provoz AI.

Jde o první open-source model od Nvidie od konce července, kdy generální ředitel Jensen Huang zveřejnil na síti X otevřený dopis. V něm obhajoval otevřené AI modely a vyzval americkou vládu, aby se vyhnula omezením, která by mohla vytlačit inovace do zahraničí.cnbc

Lehký model pro neustále aktivní agenty

Nemotron 3.5 Lightning je model typu „mixture-of-experts“ s 30 miliardami parametrů, který je navržen pro vysoce objemné a specializované úkoly v rámci větších multiagentních systémů. Nvidia uvedla, že model poskytuje až čtyřikrát vyšší rychlost výstupu a o 30 % rychlejší plnění úkolů ve srovnání s jinými modely ve své třídě.blogs.nvidia+1

Model je plně přizpůsobitelný a lze jej dodatečně trénovat na vlastních datech organizace. Kari Briski, viceprezidentka Nvidie pro software generativní AI, řekla deníku Wall Street Journal News Corp ↘ 3.58%, že model se „neobyčejně snadno přizpůsobuje“. Jako příklad uvedla společnost CodeRabbit: ta využila standardní tréninkový postup Nvidie a vytvořila směrovacího agenta za 85 dolarů během zhruba dvou hodin. Model testovaly a upravily také firmy jako CrowdStrike ↗ 4.97% nebo Harvey.siliconangle+1

Pro Nvidii má open-source AI jasný obchodní přínos. „Bezplatná AI by měla být skvělá pro hardware,“ řekl Huang minulý měsíc serveru Axios. „Bezplatná AI by měla být skvělá pro čipy.“cnbc

NeMo Switchyard: Směrování ke správnému modelu

Společně s modelem Lightning vydala Nvidia také NeMo Switchyard, open-source knihovnu pro směrování modelů, která automaticky přesměrovává každý požadavek AI agenta na nejvhodnější model na základě kvality, latence a nákladů. Interní testy ukázaly, že Switchyard si zachoval přesnost na úrovni nejvyspělejších modelů, přičemž snížil náklady na splnění úkolu na téměř třetinu oproti použití samotného špičkového modelu.blogs.nvidia

Partneři již hlásí první výsledky: Ramp dosáhl výkonu srovnatelného se špičkovými modely, přičemž snížil náklady o 58 % a dobu běhu o 33 %, zatímco LangChain dosáhl o 74 % nižších nákladů tím, že pouze 7 % dotazů směroval na nejvyspělejší model.developer.nvidia+1

Závody ve zbrojení v oblasti open-source AI

K vydání dochází den poté, co generální ředitel společnosti Meta Platforms ↗ 1.02% Mark Zuckerberg zveřejnil manifest obhajující open-source AI, přičemž Meta zároveň vydala nový model pro programování. Krok Nvidie následuje také po Huangově zapojení do politické debaty vyvolané čínským modelem Kimi K3, který ve Washingtonu vzbudil obavy z krádeže duševního vlastnictví prostřednictvím destilačních technik.cnbc

Nemotron 3.5 Lightning je k dispozici na platformách Hugging Face, ModelScope, OpenRouter a na vlastních platformách Nvidie. Podle serveru The Information již Nvidia vyvíjí také novou generaci modelu Nemotron 4.tradingview+1