Nvidia lanserer Nemotron 3.5 åpne AI-modeller for agenter

Nvidia ↘ 1.43% utvidet torsdag 15. oktober sin Nemotron-familie med tre nye åpne modeller. Flaggskipet er Nemotron 3.5 Super VL, en multimodal modell med 120 milliarder parametere beregnet på spesialiserte agenter som alltid er aktive. Den lanseres sammen med to edge-modeller, Nemotron 3.5 Bolt 74B-A9B 24GB og Nemotron 3.5 Bolt E4B 4GB, opplyser Nvidia. Modellene er ment å kjøre AI-agenter på alt fra datasentre til stasjonære datamaskiner, melder Yahoo Finance. Super VL og Bolt 74B-A9B er tilgjengelige nå, mens Bolt E4B lanseres 23. oktober.developer.nvidia.com+1

Super VL rettet mot bedriftsagenter

Super VL benytter en arkitektur med blanding av eksperter (mixture-of-experts) som aktiverer 12 milliarder av de 120 milliarder parameterne per token. Den håndterer tekst, bilder, dokumenter og video i én og samme modell, ifølge Nvidias utviklerblogg. Nvidia hevder at modellen leverer opptil fem ganger høyere gjennomstrømning på agentoppgaver enn andre åpne modeller av samme størrelse når den kjøres på én GPU. Den oppnådde også en skåre på 80,8 prosent på CharXiv-testen for diagramforståelse.developer.nvidia.com

Modellen er destillert fra Nemotron 3 Ultra, og bedrifter kan ettertrene den på egne data. Nvidia trekker frem flere tidlige brukere. Scale AI forventer at inferenskostnadene for en spesifikk arbeidsbelastning vil falle 40 ganger, og Ramp forventer opptil 10 ganger lavere forsinkelse ved lesing av kvitteringer. Super VL tilbys via Hugging Face, OpenRouter, ModelScope og som en Nvidia NIM-mikrotjeneste.blogs.nvidia.com+1

Bolt-modellene flytter agenter til lokal maskinvare

Bolt 74B-A9B har 74 milliarder parametere og bruker 9 milliarder av dem per token. To-bits kvantisering gjør at den får plass i 24 GB minne. I likhet med andre Nemotron-modeller er vekter, treningsdata og oppskrifter fullstendig åpne, ifølge Nvidia. Den kjører via llama.cpp, Ollama, LM Studio, Unsloth og vLLM. Nvidia har utviklet den for sine RTX Spark-bærbare datamaskiner, som kommer for salg fredag 16. oktober. Bolt E4B er designet for fysiske og samtalestyrte agenter, som stemmeassistenter og interaktive spillfigurer, på GeForce RTX-, Jetson- og DGX Spark-maskinvare.blogs.nvidia.com+1

Nvidias strategi for åpne modeller

Åpne modeller har blitt en del av Nvidias vekststrategi. Rimeligere modeller kan få flere organisasjoner til å ta i bruk AI, noe som igjen kan øke den langsiktige etterspørselen etter brikker, bemerker Yahoo Finance. Kinesiske utviklere som Moonshot AI og Alibaba ↘ 1.82% leder for øyeblikket utviklingen av åpne modeller med sine Kimi- og Qwen-familier. Administrerende direktør Jensen Huang har oppfordret amerikanske selskaper til å bygge og ta i bruk flere åpne modeller for å unngå at industrien låses til noen få lukkede systemer. ZDNET kalte Super VL for et nytt fremskritt for amerikansk åpen AI.zdnet.com+1