Nvidia, aracılar için Nemotron 3.5 açık yapay zeka modellerini yayınladı

Nvidia ↘ 1.43%, 15 Ekim Perşembe günü Nemotron ailesine üç yeni açık ağırlıklı model ekledi. Amiral gemisi olan Nemotron 3.5 Super VL, "uzmanlaşmış, sürekli aktif aracılar" için tasarlanmış 120 milyar parametreli çok modlu bir modeldir. Nvidia'nın açıklamasına göre, bu modele iki uç birim modeli eşlik ediyor: Nemotron 3.5 Bolt 74B-A9B 24GB ve Nemotron 3.5 Bolt E4B 4GB. Yahoo Finance'in haberine göre bu modeller, veri merkezlerinden masaüstü bilgisayarlara kadar her yerde yapay zeka aracılarını çalıştırmak için tasarlandı. Super VL ve Bolt 74B-A9B şu an mevcut, Bolt E4B ise 23 Ekim'de çıkacak.developer.nvidia.com+1

Super VL kurumsal aracıları hedefliyor

Super VL, her belirteç (token) için 120 milyar parametresinin 12 milyarını etkinleştiren bir uzmanlar karışımı (mixture-of-experts) tasarımı kullanıyor. Nvidia'nın geliştirici bloguna göre model; metin, görüntü, belge ve videoları tek bir yapıda işleyebiliyor. Nvidia, modelin tek bir GPU üzerinde çalıştırıldığında, kendi boyutundaki diğer açık modellere kıyasla aracı görevlerinde beş kata kadar daha yüksek işleme kapasitesi sunduğunu belirtiyor. Ayrıca Super VL'nin CharXiv grafik akıl yürütme kıyaslamasında %80,8 puan aldığı ifade ediliyor.developer.nvidia.com

Nemotron 3 Ultra'dan damıtılan bu model, işletmeler tarafından kendi verileri üzerinde eğitilebiliyor. Nvidia, bazı erken dönem kullanıcılarına dikkat çekti. Scale AI, bir satıcı kredisi iş yükü için çıkarım maliyetlerinin 40 kat düşmesini bekliyor; Ramp ise makbuz okuma işlemlerinde 10 kata kadar daha düşük gecikme süresi öngörüyor. Super VL; Hugging Face, OpenRouter, ModelScope üzerinde ve bir Nvidia NIM mikro hizmeti olarak sunuluyor.blogs.nvidia.com+1

Bolt modelleri aracıları yerel donanıma taşıyor

Bolt 74B-A9B, 74 milyar parametreye sahip ve her belirteç için bunların 9 milyarını kullanıyor. İki bitlik nicemleme (quantization), modelin 24GB belleğe sığmasını sağlıyor. Nvidia, diğer Nemotron modelleri gibi bu modelin de ağırlıklarının, eğitim verilerinin ve tariflerinin tamamen açık olduğunu belirtti. Model; llama.cpp, Ollama, LM Studio, Unsloth ve vLLM aracılığıyla çalışabiliyor. Nvidia, bu modeli 16 Ekim Cuma günü satışa çıkacak olan RTX Spark dizüstü bilgisayarları için geliştirdi. Bolt E4B ise GeForce RTX, Jetson ve DGX Spark donanımları üzerinde sesli asistanlar ve etkileşimli oyun karakterleri gibi fiziksel ve konuşmaya dayalı aracılar için tasarlandı.blogs.nvidia.com+1

Nvidia'nın açık model stratejisi

Açık ağırlıklı modeller, Nvidia'nın büyüme stratejisinin bir parçası haline geldi. Yahoo Finance, daha ucuz modellerin yapay zekaya daha fazla organizasyonu dahil edebileceğini ve bunun da uzun vadede çip talebini artırabileceğini kaydetti. Moonshot AI ve Alibaba ↘ 1.82% gibi Çinli geliştiriciler, Kimi ve Qwen aileleriyle açık modeller konusundaki tartışmalara şu anda öncülük ediyor. CEO Jensen Huang, endüstrinin birkaç kapalı sisteme hapsolmaması için ABD'li şirketleri daha fazla açık model oluşturmaya ve benimsemeye çağırdı. ZDNET, Super VL'yi "ABD'nin açık ağırlıklı yapay zekası için ileriye doğru atılmış bir başka adım" olarak tanımladı.zdnet.com+1