Nvidia lanserer gratis AI-modell med åpen kildekode for agenter

Nvidia ↘ 1.47% lanserte tirsdag Nemotron 3.5 Lightning, en gratis AI-modell med åpen kildekode bygget for bedriftsbruk som kan kjøre på en enkelt GPU, sammen med et nytt rutingverktøy kalt NeMo Switchyard, designet for å kutte kostnader på AI-arbeidsoppgaver.

Lanseringen markerer Nvidias første modell med åpen kildekode siden administrerende direktør Jensen Huang publiserte et åpent brev på X i slutten av juli, der han forsvarte åpne AI-modeller og oppfordret amerikanske myndigheter til å unngå restriksjoner som kan presse innovasjon utenlands.cnbc

En lettvektsmodell for agenter som alltid er på

Nemotron 3.5 Lightning er en «mixture-of-experts»-modell med 30 milliarder parametere, designet for spesialiserte oppgaver i store volum innenfor større multiagentsystemer. Nvidia opplyser at modellen leverer opptil fire ganger raskere responshastighet og 30 % raskere fullføring av agentoppgaver sammenlignet med andre modeller i sin klasse.blogs.nvidia+1

Modellen er fullt tilpasningsdyktig og kan ettertrenes på en organisasjons egne data. Kari Briski, Nvidias visepresident for programvare innen generativ AI, uttalte til Wall Street Journal News Corp ↘ 3.58% at modellen er «oppsiktsvekkende enkel å tilpasse». Hun trakk frem CodeRabbit som et eksempel: Selskapet brukte Nvidias standard opplæringsoppskrift og produserte en ruter-agent for 85 dollar på rundt to timer. Selskaper som CrowdStrike ↗ 4.97% og Harvey har også testet og tilpasset modellen.siliconangle+1

For Nvidia tjener AI med åpen kildekode en tydelig forretningsinteresse. «Gratis AI burde være bra for maskinvare», sa Huang til Axios forrige måned. «Gratis AI burde være bra for brikker».cnbc

NeMo Switchyard: Ruting til riktig modell

Sammen med Lightning lanserte Nvidia NeMo Switchyard, et rutingbibliotek med åpen kildekode som automatisk sender hver AI-agentforespørsel til den mest egnede modellen basert på kvalitet, forsinkelse og kostnad. Interne tester viste at Switchyard opprettholdt nøyaktighet på toppnivå, samtidig som kostnaden for å fullføre oppgaver ble redusert til nesten en tredjedel sammenlignet med å bruke kun én enkelt toppmodell.blogs.nvidia

Partnere rapporterte om tidlige resultater: Ramp matchet ytelsen til toppmodeller, samtidig som de kuttet kostnadene med 58 % og kjøretiden med 33 %, mens LangChain oppnådde 74 % lavere kostnader ved å rute bare 7 % av forespørslene til en toppmodell.developer.nvidia+1

Våpenkappløp innen AI med åpen kildekode

Lanseringen kommer dagen etter at Meta Platforms ↗ 1.02%-sjef Mark Zuckerberg publiserte et manifest som argumenterte for AI med åpen kildekode, samtidig som Meta lanserte en ny kodemodell. Nvidias trekk følger også etter at Huang kastet seg inn i en politisk debatt utløst av Kinas Kimi K3-modell, som vakte bekymring i Washington for tyveri av intellektuell eiendom gjennom destilleringsteknikker.cnbc

Nemotron 3.5 Lightning is available on Hugging Face, ModelScope, OpenRouter and Nvidia's own platforms. Nvidia is also already developing a next-generation Nemotron 4 model, according to The Information.tradingview+1