NVIDIA lanserar Groq 3 LPU på Hot Chips med 4x snabbare avkodning

NVIDIA ↘ 4.58% dominerade det tekniska programmet på Hot Chips 2026 genom att presentera två specialiserade processorer som utökar deras Vera Rubin-plattform bortom GPU:er: Groq 3 Language Processing Unit och BlueField-4 Data Processing Unit. Konferensen, som hölls 23–25 augusti i Memorial Auditorium vid Stanford University, innehöll även presentationer från NVIDIA om deras 88-kärniga Vera CPU och Rubin GPU.vdura+1

Groq 3 LPU: Deterministisk avkodning i stor skala

Presentation av Groq 3 LPU detaljerade hur NVIDIA integrerar teknik från Groq, vars team till stor del anslöt sig till NVIDIA efter ett förvärv värt 20 miljarder dollar som tillkännagavs i slutet av december 2025. Ett enskilt LPX-rack, innehållande 256 LPU:er, kan avkoda 11 000 tokens per sekund på en modell med 31 miljarder parametrar (Gemma 4), vilket ger en 4x högre token-utmatningshastighet än den näst närmaste offentliga konkurrenten i oberoende tester utförda av Artificial Analysis.servethehome+2

Chippet förlitar sig på stora mängder SRAM på chippet, totalt 128 GB per rack, vilket levererar 40 PB/s i sammanlagd SRAM-bandbredd och 315 PFLOPS i FP8-beräkningskraft. Dess helt deterministiska arkitektur eliminerar förgreningar och hårdvaruschemaläggning, och flyttar all instruktionsschemaläggning till mjukvaran. Strömförbrukningen är lika förutsägbar, vilket möjliggör tekniker för förutseende som minskar spänningsfall med 60 procent.servethehome

När det paras ihop med Rubin GPU:er utökar LPX-racket prestandagränsen med upp till 5x vid de högsta token-hastigheterna per användare, genom att hantera avkodningsdelen av inferens medan GPU:erna fokuserar på prefill.servethehome

BlueField-4: AI-fabrikens betrodda front

När det gäller nätverk presenterade NVIDIA BlueField-4 som den första AI-inbyggda DPU:n, som kombinerar 64 Arm Neoverse V2-kärnor på 1,7 GHz med ConnectX-9-nätverk som levererar 800G Ethernet. I ett Vera Rubin-system hanterar DPU:n 7 Tb/s i sammanlagd bandbredd per beräkningsenhet samtidigt som den upprätthåller nollförtroendesäkerhet vid linjehastighet.servethehome

Lagringsprestandan stack ut: NVMe over fabrics som körs på BlueField-4 når 1,6 Tb/s med åtta kärnor och 20 miljoner IOPS med 16 kärnor, vilket ger vad NVIDIA kallade en 2x snabbare väg till data för GPU:er.servethehome

Groq fortsätter oberoende verksamhet

Separat fortsätter Groq, som driver sin GroqCloud-inferenstjänst oberoende, med anställningen av Ola Kasali, tidigare nätverksansvarig på Meta ↗ 1.21%, som chef för nätverks- och datacenterteknik. Företaget tog in 350 miljoner dollar till en värdering på 3,5 miljarder dollar i augusti, med planer på att skala upp från 54 megawatt beräkningskraft till över 200 MW till 2027.sdxcentral