Nvidia julkaisi Nemotron 3.5 -avoimen tekoälymallit agenteille

Nvidia ↘ 1.43% lisäsi torstaina 15. lokakuuta kolme avoimen painotuksen mallia Nemotron-perheeseensä. Lippulaivamalli on Nemotron 3.5 Super VL, 120 miljardin parametrin multimodaalinen malli "erikoistuneille, aina päällä oleville agenteille". Sen mukana tulee kaksi reunamallia, Nemotron 3.5 Bolt 74B-A9B (24 Gt) ja Nemotron 3.5 Bolt E4B (4 Gt), Nvidia kertoi. Yahoo Financen mukaan mallit on tarkoitettu tekoälyagenttien ajamiseen kaikessa konesalijärjestelmistä pöytätietokoneisiin. Super VL ja Bolt 74B-A9B ovat saatavilla nyt, ja Bolt E4B julkaistaan 23. lokakuuta.developer.nvidia.com+1

Super VL tähtää yritysagentteihin

Super VL käyttää asiantuntijoiden sekoitusmallia (mixture-of-experts), joka aktivoi 12 miljardia sen 120 miljardista parametrista per token. Nvidian kehittäjäblogin mukaan se käsittelee tekstiä, kuvia, asiakirjoja ja videota yhdessä mallissa. Nvidia sanoo, että malli tarjoaa jopa viisi kertaa suuremman suorituskyvyn agenttitehtävissä kuin muut vastaavan kokoiset avoimet mallit yhdellä GPU:lla ajettuna. Se kertoo myös, että Super VL sai 80,8 % tuloksen CharXiv-kaavion päättelytestissä.developer.nvidia.com

Malli on tislattu Nemotron 3 Ultrasta, ja yritykset voivat jatkokouluttaa sen omalla datallaan. Nvidia nosti esiin muutamia varhaisia käyttäjiä. Scale AI odottaa päättelykustannusten laskevan 40-kertaisesti yhden toimittajaluottotyökuorman osalta, ja Ramp odottaa jopa 10 kertaa pienempää viivettä kuittien lukemisessa. Super VL on saatavilla Hugging Facessa, OpenRouterissa, ModelScopessa ja Nvidia NIM -mikropalveluna.blogs.nvidia.com+1

Bolt-mallit tuovat agentit paikalliseen laitteistoon

Bolt 74B-A9B sisältää 74 miljardia parametria ja käyttää niistä 9 miljardia per token. Kahden bitin kvantisointi mahdollistaa sen mahtumisen 24 Gt:n muistiin. Kuten muutkin Nemotron-mallit, sen painotukset, koulutusdata ja reseptit ovat täysin avoimia, Nvidia kertoi. Se toimii llama.cpp:n, Ollaman, LM Studion, Unslothin ja vLLM:n kautta. Nvidia rakensi sen RTX Spark -kannettavilleen, jotka tulevat myyntiin perjantaina 16. lokakuuta. Bolt E4B on suunniteltu fyysisille ja keskusteleville agenteille, kuten puheavustajille ja interaktiivisille pelihahmoille, GeForce RTX-, Jetson- ja DGX Spark -laitteistoilla.blogs.nvidia.com+1

Nvidian avoimen mallin strategia

Avoimen painotuksen mallit ovat tulleet osaksi Nvidian kasvustrategiaa. Halvemmat mallit voivat tuoda lisää organisaatioita tekoälyn pariin, mikä puolestaan voi nostaa sirujen kysyntää pitkällä aikavälillä, Yahoo Finance huomautti. Kiinalaiset kehittäjät, kuten Moonshot AI ja Alibaba ↘ 1.82%, johtavat tällä hetkellä keskustelua avoimista malleista Kimi- ja Qwen-perheillään. Toimitusjohtaja Jensen Huang on kehottanut yhdysvaltalaisia yrityksiä rakentamaan ja ottamaan käyttöön enemmän avoimia malleja, jotta ala ei lukittuisi muutamaan suljettuun järjestelmään. ZDNET kutsui Super VL:ää "jälleen yhdeksi askeleeksi eteenpäin Yhdysvaltain avoimen tekoälyn kehityksessä".zdnet.com+1