Nvidia veröffentlicht kostenloses Open-Source-KI-Modell für Agenten

Nvidia ↗ 0.75% hat am Dienstag Nemotron 3.5 Lightning veröffentlicht, ein kostenloses Open-Source-KI-Modell für den Unternehmenseinsatz, das auf einer einzigen GPU ausgeführt werden kann. Gleichzeitig stellte das Unternehmen mit NeMo Switchyard ein neues Routing-Tool vor, das die Kosten für KI-Workloads senken soll.

Dies ist das erste Open-Source-Modell von Nvidia, seit CEO Jensen Huang Ende Juli einen offenen Brief auf X veröffentlichte. Darin verteidigte er offene KI-Modelle und forderte die US-Regierung auf, Beschränkungen zu vermeiden, die Innovationen ins Ausland verlagern könnten.cnbc

Ein leichtgewichtiges Modell für Always-On-Agenten

Nemotron 3.5 Lightning ist ein Mixture-of-Experts-Modell mit 30 Milliarden Parametern, das für hochvolumige, spezialisierte Aufgaben in größeren Multi-Agenten-Systemen entwickelt wurde. Laut Nvidia bietet das Modell eine bis zu viermal schnellere Ausgabegeschwindigkeit und eine um 30 % schnellere Erledigung agentenbasierter Aufgaben im Vergleich zu anderen Modellen seiner Klasse.blogs.nvidia+1

Das Modell ist vollständig anpassbar und kann mit den eigenen Daten eines Unternehmens nachträglich trainiert werden. Kari Briski, Vice President für generative KI-Software bei Nvidia, erklärte gegenüber dem Wall Street Journal News Corp ↗ 0.58%, das Modell sei „bemerkenswert einfach anzupassen“. Als Beispiel nannte sie CodeRabbit: Das Unternehmen nutzte das Standard-Trainingsrezept von Nvidia und erstellte in etwa zwei Stunden für 85 US-Dollar einen Router-Agenten. Auch Unternehmen wie CrowdStrike ↗ 5.01% und Harvey haben das Modell bereits getestet und angepasst.siliconangle+1

Für Nvidia dient Open-Source-KI einem klaren Geschäftsinteresse. „Kostenlose KI sollte gut für die Hardware sein“, sagte Huang im vergangenen Monat gegenüber Axios. „Kostenlose KI sollte gut für Chips sein.“cnbc

NeMo Switchyard: Routing zum richtigen Modell

Zusammen mit Lightning hat Nvidia NeMo Switchyard veröffentlicht, eine Open-Source-Bibliothek für das Modell-Routing. Diese leitet jede Anfrage eines KI-Agenten basierend auf Qualität, Latenz und Kosten automatisch an das am besten geeignete Modell weiter. Interne Benchmarks zeigten, dass Switchyard die Genauigkeit auf dem Niveau von Spitzenmodellen hielt, während die Kosten für die Aufgabenerledigung auf fast ein Drittel im Vergleich zur alleinigen Nutzung eines einzelnen Spitzenmodells gesenkt wurden.blogs.nvidia

Partner berichteten von ersten Ergebnissen: Ramp erreichte die Leistung von Spitzenmodellen bei einer Kostensenkung um 58 % und einer Verkürzung der Laufzeit um 33 %, während LangChain eine Kostensenkung um 74 % erzielte, indem nur 7 % der Aufrufe an ein Spitzenmodell weitergeleitet wurden.developer.nvidia+1

Das Wettrüsten bei Open-Source-KI

Die Veröffentlichung erfolgt einen Tag, nachdem Mark Zuckerberg, CEO von Meta Platforms ↗ 1.92%, ein Manifest für Open-Source-KI veröffentlicht hat, während Meta ein neues Programmiermodell herausbrachte. Nvidias Schritt folgt zudem auf Huangs Einstieg in eine politische Debatte, die durch Chinas Kimi-K3-Modell ausgelöst wurde. Dieses hatte in Washington Besorgnis über den Diebstahl geistigen Eigentums durch Destillationsverfahren hervorgerufen.cnbc

Nemotron 3.5 Lightning ist auf Hugging Face, ModelScope, OpenRouter und Nvidias eigenen Plattformen verfügbar. Laut The Information entwickelt Nvidia bereits ein Nemotron-4-Modell der nächsten Generation.tradingview+1