„Nvidia“ išleido nemokamą atvirojo kodo DI modelį agentams

„Nvidia“ ↘ 1.47% antradienį išleido „Nemotron 3.5 Lightning“: nemokamą, atvirojo kodo DI modelį, skirtą įmonėms, kuris gali veikti viename grafiniame procesoriuje (GPU). Kartu pristatytas ir naujas modelių maršruto parinkimo įrankis „NeMo Switchyard“, skirtas sumažinti DI užduočių išlaidas.

Tai yra pirmasis „Nvidia“ atvirojo kodo modelis po to, kai liepos pabaigoje generalinis direktorius Jensenas Huangas platformoje „X“ paskelbė atvirą laišką, kuriame gynė atvirus DI modelius ir ragino JAV vyriausybę vengti ribojimų, galinčių išstumti inovacijas į užsienį.cnbc

Lengvas modelis nuolat veikiantiems agentams

„Nemotron 3.5 Lightning“ yra 30 milijardų parametrų ekspertų mišinio (angl. mixture-of-experts) modelis, sukurtas didelės apimties, specializuotoms užduotims atlikti didesnėse kelių agentų sistemose. „Nvidia“ teigimu, šis modelis užtikrina iki keturių kartų didesnį rezultatų generavimo greitį ir 30 % greitesnį agentinių užduočių atlikimą, palyginti su kitais šios klasės modeliais.blogs.nvidia+1

Modelis yra visiškai pritaikomas ir gali būti papildomai apmokytas naudojant pačios organizacijos duomenis. Kari Briski, „Nvidia“ generatyvinio DI programinės įrangos viceprezidentė, leidiniui „Wall Street Journal“ (priklausančiam „News Corp“ ↘ 3.58%) teigė, kad modelį pritaikyti yra „ypatingai lengva“. Kaip pavyzdį ji nurodė įmonę „CodeRabbit“: bendrovė panaudojo standartinį „Nvidia“ apmokymo šabloną ir maždaug per dvi valandas už 85 JAV dolerius sukūrė maršruto parinkimo agentą. Tokios įmonės kaip „CrowdStrike“ ↗ 4.97% ir „Harvey“ taip pat išbandė ir pritaikė šį modelį savo poreikiams.siliconangle+1

„Nvidia“ atvirojo kodo DI teikia aiškią verslo naudą. „Nemokamas DI turėtų būti puikus dalykas techninei įrangai“, praėjusį mėnesį leidiniui „Axios“ sakė J. Huangas. „Nemokamas DI turėtų būti puikus dalykas lustams.“cnbc

„NeMo Switchyard“: maršruto parinkimas tinkamam modeliui

Kartu su „Lightning“ „Nvidia“ išleido „NeMo Switchyard“, atvirojo kodo modelių maršruto parinkimo biblioteką, kuri automatiškai nukreipia kiekvieną DI agento užklausą į tinkamiausią modelį, atsižvelgdama į kokybę, vėlinimą ir kainą. Vidiniai testai parodė, kad „Switchyard“ išlaikė pažangiausių modelių tikslumo lygį, o užduoties atlikimo išlaidas sumažino beveik iki trečdalio, palyginti su vieno pažangiausio modelio naudojimu.blogs.nvidia

Partneriai jau pranešė apie pirmuosius rezultatus: „Ramp“ pasiekė pažangiausių modelių našumą, sumažindama išlaidas 58 %, o veikimo laiką – 33 %, tuo tarpu „LangChain“ pasiekė 74 % mažesnes išlaidas, nukreipdama tik 7 % užklausų į pažangiausią modelį.developer.nvidia+1

Atvirojo kodo DI ginklavimosi varžybos

Šis modelis išleistas praėjus dienai po to, kai „Meta Platforms“ ↗ 1.02% vadovas Markas Zuckerbergas paskelbė manifestą, kuriame pasisako už atvirojo kodo DI, o „Meta“ pristatė naują programavimo modelį. „Nvidia“ žingsnis taip pat seka po J. Huango įsitraukimo į politines diskusijas, kurias sukėlė Kinijos modelis „Kimi K3“, Vašingtone sukėlęs susirūpinimą dėl intelektinės nuosavybės vagystės naudojant distiliavimo metodus.cnbc

„Nemotron 3.5 Lightning“ galima rasti „Hugging Face“, „ModelScope“, „OpenRouter“ ir pačios „Nvidia“ platformose. Remiantis „The Information“ pranešimais, „Nvidia“ jau kuria ir naujos kartos „Nemotron 4“ modelį.tradingview+1