Nvidia lanserar gratis AI-modell med öppen källkod för agenter

Nvidia ↘ 1.47% lanserade på tisdagen Nemotron 3.5 Lightning, en gratis AI-modell med öppen källkod byggd för företagsanvändning som kan köras på en enda GPU, tillsammans med ett nytt dirigeringsverktyg kallat NeMo Switchyard som är utformat för att sänka kostnaderna för AI-arbetsbelastningar.

Lanseringen är Nvidias första modell med öppen källkod sedan vd:n Jensen Huang i slutet av juli publicerade ett öppet brev på X där han försvarade öppna AI-modeller och uppmanade USA:s regering att undvika restriktioner som skulle kunna driva innovationen utomlands.cnbc

En lättviktsmodell för ständigt aktiva agenter

Nemotron 3.5 Lightning är en så kallad "mixture-of-experts"-modell med 30 miljarder parametrar, utformad för storskaliga, specialiserade uppgifter inom större multiagentsystem. Nvidia uppger att modellen levererar upp till fyra gånger snabbare svarshastighet och 30 % snabbare slutförande av agentuppgifter jämfört med andra modeller i sin klass.blogs.nvidia+1

Modellen är helt anpassningsbar och kan eftertränas på en organisations egna data. Kari Briski, Nvidias vice vd för mjukvara inom generativ AI, säger till Wall Street Journal News Corp ↘ 3.58% att modellen är "anmärkningsvärt enkel att anpassa". Som exempel nämnde hon CodeRabbit: företaget använde Nvidias standardrecept för träning och skapade en dirigeringsagent för 85 dollar på ungefär två timmar. Även företag som CrowdStrike ↗ 4.97% och Harvey har testat och anpassat modellen.siliconangle+1

För Nvidia tjänar AI med öppen källkod ett tydligt affärsintresse. "Gratis AI borde vara utmärkt för hårdvara", sa Huang till Axios förra månaden. "Gratis AI borde vara utmärkt för chip."cnbc

NeMo Switchyard: Dirigering till rätt modell

Tillsammans med Lightning släppte Nvidia även NeMo Switchyard, ett bibliotek med öppen källkod för modelldirigering som automatiskt skickar varje AI-förfrågan till den mest lämpliga modellen baserat på kvalitet, latens och kostnad. Interna tester visade att Switchyard bibehöll precision i toppklass samtidigt som kostnaden för att slutföra uppgifter minskade till nästan en tredjedel jämfört med att enbart använda en enskild toppmodell.blogs.nvidia

Partnerföretag rapporterade tidiga resultat: Ramp matchade prestandan hos toppmodeller samtidigt som kostnaderna minskade med 58 % och körtiden med 33 %, medan LangChain uppnådde 74 % lägre kostnader genom att endast dirigera 7 % av anropen till en toppmodell.developer.nvidia+1

Kapprustning inom AI med öppen källkod

Lanseringen sker dagen efter att Meta Platforms ↗ 1.02% vd Mark Zuckerberg publicerat ett manifest som argumenterar för AI med öppen källkod, i samband med att Meta släppte en ny kodningsmodell. Nvidias drag följer också på Huangs inträde i en politisk debatt som väckts av Kinas Kimi K3-modell, vilken har skapat oro i Washington gällande stöld av immateriella rättigheter genom så kallade destilleringstekniker.cnbc

Nemotron 3.5 Lightning finns tillgänglig på Hugging Face, ModelScope, OpenRouter och Nvidias egna plattformar. Nvidia utvecklar dessutom redan nästa generations Nemotron 4-modell, enligt uppgifter till The Information.tradingview+1