Nvidia släpper Nemotron 3.5 öppna AI-modeller för agenter

Nvidia ↘ 1.43% utökade på torsdagen den 15 oktober sin Nemotron-familj med tre nya öppna modeller. Flaggskeppet är Nemotron 3.5 Super VL, en multimodal modell med 120 miljarder parametrar avsedd för specialiserade agenter som alltid är aktiva. Den lanseras tillsammans med två edge-modeller, Nemotron 3.5 Bolt 74B-A9B 24GB och Nemotron 3.5 Bolt E4B 4GB, enligt Nvidia. Modellerna är tänkta att driva AI-agenter på allt från datacenter till stationära datorer, rapporterar Yahoo Finance. Super VL och Bolt 74B-A9B finns tillgängliga nu, medan Bolt E4B släpps den 23 oktober.developer.nvidia.com+1

Super VL riktar sig mot företagsagenter

Super VL använder en arkitektur med blandade experter (mixture-of-experts) som aktiverar 12 miljarder av sina 120 miljarder parametrar per token. Den hanterar text, bilder, dokument och video i en och samma modell, enligt Nvidias utvecklarblogg. Nvidia hävdar att modellen levererar upp till fem gånger högre genomströmning för agentuppgifter än andra öppna modeller av samma storlek när den körs på en enda GPU. Den uppnådde även 80,8 procent på CharXiv-testet för diagramförståelse.developer.nvidia.com

Modellen är destillerad från Nemotron 3 Ultra, och företag kan efterträna den på sin egen data. Nvidia lyfter fram flera tidiga användare. Scale AI förväntar sig att inferenskostnaderna för en specifik arbetsbelastning kommer att sjunka 40 gånger, och Ramp förväntar sig upp till 10 gånger lägre latens vid läsning av kvitton. Super VL erbjuds via Hugging Face, OpenRouter, ModelScope och som en Nvidia NIM-mikrotjänst.blogs.nvidia.com+1

Bolt-modellerna flyttar agenter till lokal hårdvara

Bolt 74B-A9B har 74 miljarder parametrar och använder 9 miljarder av dem per token. Två-bitars kvantisering gör att den får plats i 24 GB minne. Precis som andra Nemotron-modeller är vikter, träningsdata och recept helt öppna, enligt Nvidia. Den körs via llama.cpp, Ollama, LM Studio, Unsloth och vLLM. Nvidia har byggt den för sina RTX Spark-laptops, som börjar säljas fredagen den 16 oktober. Bolt E4B är designad för fysiska och samtalsstyrda agenter, såsom röstassistenter och interaktiva spelfigurer, på GeForce RTX-, Jetson- och DGX Spark-hårdvara.blogs.nvidia.com+1

Nvidias strategi för öppna modeller

Öppna modeller har blivit en del av Nvidias tillväxtstrategi. Billigare modeller kan få fler organisationer att börja använda AI, vilket i sin tur kan öka den långsiktiga efterfrågan på chip, noterar Yahoo Finance. Kinesiska utvecklare som Moonshot AI och Alibaba ↘ 1.82% leder för närvarande diskussionen om öppna modeller med sina Kimi- och Qwen-familjer. VD Jensen Huang har uppmanat amerikanska företag att bygga och använda fler öppna modeller för att industrin inte ska låsas in i ett fåtal stängda system. ZDNET kallade Super VL för "ännu ett steg framåt för amerikansk öppen AI".zdnet.com+1