Η NVIDIA παρουσιάζει το Groq 3 LPU στο Hot Chips με τετραπλάσια ταχύτητα αποκωδικοποίησης

Η NVIDIA ↗ 0.84% κυριάρχησε στο τεχνικό πρόγραμμα του Hot Chips 2026, παρουσιάζοντας δύο εξειδικευμένους επεξεργαστές που επεκτείνουν την πλατφόρμα Vera Rubin πέρα από τις GPU: τη μονάδα επεξεργασίας γλώσσας Groq 3 και τη μονάδα επεξεργασίας δεδομένων BlueField-4. Το συνέδριο, που πραγματοποιήθηκε στις 23-25 Αυγούστου στο Memorial Auditorium του Πανεπιστημίου Στάνφορντ, περιελάμβανε επίσης παρουσιάσεις της NVIDIA για την CPU Vera 88 πυρήνων και την GPU Rubin.vdura+1

Groq 3 LPU: Ντετερμινιστική αποκωδικοποίηση σε κλίμακα

Η παρουσίαση του Groq 3 LPU περιέγραψε τον τρόπο με τον οποίο η NVIDIA ενσωματώνει την τεχνολογία της Groq, της οποίας η ομάδα εντάχθηκε σε μεγάλο βαθμό στην NVIDIA μετά από μια εξαγορά ύψους 20 δισεκατομμυρίων δολαρίων που ανακοινώθηκε στα τέλη Δεκεμβρίου 2025. Ένα rack LPX, που περιέχει 256 LPU, μπορεί να αποκωδικοποιήσει 11.000 tokens ανά δευτερόλεπτο σε ένα μοντέλο 31 δισεκατομμυρίων παραμέτρων (Gemma 4), προσφέροντας 4 φορές υψηλότερο ρυθμό παραγωγής token από τον πλησιέστερο δημόσιο ανταγωνιστή σε ανεξάρτητες δοκιμές από την Artificial Analysis.servethehome+2

Το chip βασίζεται σε μεγάλες ποσότητες on-die SRAM – 128 GB σε ολόκληρο το rack – παρέχοντας 40 PB/s συνολικού εύρους ζώνης SRAM και 315 PFLOPS υπολογιστικής ισχύος FP8. Η πλήρως ντετερμινιστική αρχιτεκτονική του εξαλείφει τις διακλαδώσεις και τον προγραμματισμό υλικού, μεταφέροντας όλο τον προγραμματισμό εντολών στο λογισμικό. Η κατανάλωση ενέργειας είναι εξίσου προβλέψιμη, επιτρέποντας τεχνικές πρόβλεψης που μειώνουν την πτώση τάσης κατά 60 τοις εκατό.servethehome

Σε συνδυασμό με τις Rubin GPU, το rack LPX επεκτείνει τα όρια των επιδόσεων έως και 5 φορές στους υψηλότερους ρυθμούς token ανά χρήστη, αναλαμβάνοντας το κομμάτι της αποκωδικοποίησης κατά το inference, ενώ οι GPU εστιάζουν στο prefill.servethehome

BlueField-4: Το αξιόπιστο front end του εργοστασίου AI

Στον τομέα της δικτύωσης, η NVIDIA παρουσίασε το BlueField-4 ως το πρώτο "AI-native DPU", συνδυάζοντας 64 πυρήνες Arm Neoverse V2 στα 1,7 GHz με δικτύωση ConnectX-9 που προσφέρει 800G Ethernet. Σε ένα σύστημα Vera Rubin, το DPU διαχειρίζεται 7 Tb/s συνολικού εύρους ζώνης ανά υπολογιστικό tray, επιβάλλοντας παράλληλα ασφάλεια μηδενικής εμπιστοσύνης σε επίπεδο γραμμής.servethehome

Οι επιδόσεις αποθήκευσης ξεχώρισαν: το NVMe over fabrics που εκτελείται στο BlueField-4 φτάνει το 1,6 Tb/s με οκτώ πυρήνες και 20 εκατομμύρια IOPS με 16 πυρήνες, παρέχοντας αυτό που η NVIDIA ονόμασε 2 φορές ταχύτερη διαδρομή προς τα δεδομένα για τις GPU.servethehome

Η Groq συνεχίζει τις ανεξάρτητες δραστηριότητές της

Ξεχωριστά, η Groq – η οποία συνεχίζει να λειτουργεί την υπηρεσία inference GroqCloud ανεξάρτητα – προσέλαβε την Ola Kasali, πρώην διευθύντρια ανάπτυξης δικτύων της Meta ↗ 1.00%, ως επικεφαλής μηχανικού δικτύων και κέντρων δεδομένων. Η εταιρεία άντλησε 350 εκατομμύρια δολάρια με αποτίμηση 3,5 δισεκατομμυρίων δολαρίων τον Αύγουστο, με σχέδια να κλιμακώσει την υπολογιστική της ισχύ από 54 μεγαβάτ σε πάνω από 200 MW έως το 2027.sdxcentral