Nvidia veröffentlicht offene Nemotron 3.5 KI-Modelle für Agenten

Nvidia ↘ 1.84% hat am Donnerstag, den 15. Oktober, seine Nemotron-Familie um drei offene Modelle erweitert. Das Flaggschiff ist Nemotron 3.5 Super VL, ein multimodales Modell mit 120 Milliarden Parametern für spezialisierte, ständig aktive Agenten. Es wird zusammen mit zwei Edge-Modellen eingeführt, Nemotron 3.5 Bolt 74B-A9B 24GB und Nemotron 3.5 Bolt E4B 4GB, so Nvidia. Die Modelle sind darauf ausgelegt, KI-Agenten auf Systemen von Rechenzentren bis hin zu Desktop-Computern auszuführen, berichtete Yahoo Finance. Super VL und Bolt 74B-A9B sind ab sofort verfügbar, Bolt E4B folgt am 23. Oktober.developer.nvidia.com+1

Super VL zielt auf Unternehmensagenten ab

Super VL verwendet ein Mixture-of-Experts-Design, das 12 Milliarden seiner 120 Milliarden Parameter pro Token aktiviert. Laut dem Entwicklerblog von Nvidia verarbeitet es Text, Bilder, Dokumente und Videos in einem einzigen Modell. Nvidia gibt an, dass das Modell bei der Ausführung auf einer einzelnen GPU einen bis zu fünfmal höheren Durchsatz bei Agentenaufgaben erzielt als andere offene Modelle dieser Größe. Zudem erreichte Super VL 80,8 Prozent im CharXiv-Benchmark für Diagrammverständnis.developer.nvidia.com

Das Modell wurde aus Nemotron 3 Ultra destilliert und Unternehmen können es mit eigenen Daten nachtrainieren. Nvidia verwies auf erste Anwender. Scale AI erwartet, dass die Inferenzkosten für eine bestimmte Arbeitslast um das 40-fache sinken, und Ramp erwartet eine bis zu zehnmal geringere Latenz beim Lesen von Belegen. Super VL wird auf Hugging Face, OpenRouter, ModelScope und als Nvidia NIM-Microservice angeboten.blogs.nvidia.com+1

Bolt-Modelle bringen Agenten auf lokale Hardware

Bolt 74B-A9B verfügt über 74 Milliarden Parameter und nutzt 9 Milliarden davon pro Token. Eine 2-Bit-Quantisierung ermöglicht es, das Modell in 24 GB Speicher unterzubringen. Wie bei anderen Nemotron-Modellen sind die Gewichte, Trainingsdaten und Rezepte laut Nvidia vollständig offen. Es läuft über llama.cpp, Ollama, LM Studio, Unsloth und vLLM. Nvidia hat es für seine RTX Spark-Laptops entwickelt, die am Freitag, den 16. Oktober, in den Verkauf gehen. Bolt E4B ist für physische und konversationelle Agenten, wie Sprachassistenten und interaktive Spielfiguren, auf GeForce RTX-, Jetson- und DGX Spark-Hardware konzipiert.blogs.nvidia.com+1

Nvidias Strategie für offene Modelle

Offene Modelle sind Teil der Wachstumsstrategie von Nvidia geworden. Günstigere Modelle könnten mehr Unternehmen dazu bewegen, KI einzusetzen, was wiederum die langfristige Nachfrage nach Chips erhöhen könnte, merkte Yahoo Finance an. Chinesische Entwickler wie Moonshot AI und Alibaba ↘ 0.04% führen derzeit die Diskussion über offene Modelle mit ihren Kimi- und Qwen-Familien an. CEO Jensen Huang hat US-Unternehmen dazu aufgerufen, mehr offene Modelle zu entwickeln und zu nutzen, damit die Branche nicht in wenigen geschlossenen Systemen gefangen bleibt. ZDNET bezeichnete Super VL als einen weiteren Schritt nach vorne für offene KI-Modelle in den USA.zdnet.com+1