NVIDIA, Hot Chips etkinliğinde 4 kat hızlı Groq 3 LPU işlemcisini tanıttı

NVIDIA ↗ 0.84%, Hot Chips 2026 teknik programına damgasını vurarak Vera Rubin platformunu GPU'ların ötesine taşıyan iki özel işlemci tanıttı: Groq 3 Language Processing Unit ve BlueField-4 Data Processing Unit. Stanford Üniversitesi Memorial Oditoryumu'nda 23-25 Ağustos tarihleri arasında düzenlenen konferansta, NVIDIA'nın 88 çekirdekli Vera CPU ve Rubin GPU sunumları da yer aldı.vdura+1

Groq 3 LPU: Ölçeklenebilir Deterministik Çözme

Groq 3 LPU sunumu, NVIDIA'nın Groq teknolojisini nasıl entegre ettiğini detaylandırdı. Groq ekibi, 2025 Aralık sonunda duyurulan 20 milyar dolarlık satın almanın ardından büyük ölçüde NVIDIA'ya katılmıştı. 256 LPU içeren tek bir LPX rafı, 31 milyar parametreli bir modelde (Gemma 4) saniyede 11.000 token çözebiliyor ve Artificial Analysis tarafından yapılan bağımsız testlerde en yakın rakibinden 4 kat daha yüksek bir token çıkış hızı sunuyor.servethehome+2

Çip, raf başına 128 GB'lık büyük miktarda on-die SRAM'e dayanıyor ve 40 PB/s toplam SRAM bant genişliği ile 315 PFLOPS FP8 hesaplama gücü sağlıyor. Tamamen deterministik mimarisi, dallanmaları ve donanım zamanlamasını ortadan kaldırarak tüm talimat zamanlamasını yazılıma aktarıyor. Güç tüketimi de aynı derecede öngörülebilir olduğundan, voltaj düşüşünü yüzde 60 oranında azaltan ileriye dönük tekniklerin kullanılmasına olanak tanıyor.servethehome

Rubin GPU'larla eşleştirildiğinde LPX rafı, GPU'lar ön yüklemeye odaklanırken çıkarım işleminin çözme kısmını üstlenerek en yüksek kullanıcı başına token hızlarında performans sınırını 5 kata kadar genişletiyor.servethehome

BlueField-4: Yapay Zeka Fabrikasının Güvenilir Ön Yüzü

Ağ tarafında NVIDIA, BlueField-4'ü 1.7 GHz hızında 64 Arm Neoverse V2 çekirdeğini 800G Ethernet sunan ConnectX-9 ağıyla birleştiren ilk "AI-native DPU" olarak tanıttı. Vera Rubin sisteminde DPU, her bir hesaplama tepsisi için 7 Tb/s toplam bant genişliğini yönetirken hat hızında sıfır güven güvenliği sağlıyor.servethehome

Depolama performansı rakamları dikkat çekici: BlueField-4 üzerinde çalışan NVMe over fabrics, sekiz çekirdekle 1.6 Tb/s ve 16 çekirdekle 20 milyon IOPS'ye ulaşarak NVIDIA'nın GPU'lar için veriye giden yolu 2 kat hızlandırdığını belirttiği bir performans sunuyor.servethehome

Groq Bağımsız Operasyonlarına Devam Ediyor

Bununla birlikte, GroqCloud çıkarım hizmetini bağımsız olarak işletmeye devam eden Groq, Meta'nın ↗ 1.00% eski ağ dağıtım yöneticisi Ola Kasali'yi ağ ve veri merkezi mühendisliği başkanı olarak işe aldı. Şirket, Ağustos ayında 3.5 milyar dolar değerleme üzerinden 350 milyon dolar yatırım aldı ve 2027 yılına kadar hesaplama kapasitesini 54 megavattan 200 MW'ın üzerine çıkarmayı planlıyor.sdxcentral