Η Google διαθέτει ως ανοιχτό κώδικα τη βιβλιοθήκη TPU Raiden απέναντι στην Nvidia

Η Google Alphabet Inc. ↘ 0.88% διέθεσε ως ανοιχτό κώδικα τη βιβλιοθήκη βελτιστοποίησης εξαγωγής συμπερασμάτων TPU Raiden, η οποία διαχειρίζεται τη μεταφορά δεδομένων KV-cache μεταξύ τσιπ κατά την εξυπηρέτηση μεγάλων γλωσσικών μοντέλων. Το αποθετήριο είναι διαθέσιμο στο GitHub υπό την άδεια Apache-2.0, σηματοδοτώντας μία από τις σαφέστερες ενδείξεις μέχρι στιγμής ότι η Google είναι διατεθειμένη να εξωτερικεύσει υποδομές που για καιρό θεωρούνταν ιδιοκτησιακές στο οικοσύστημα TPU της.officechai

Η κυκλοφορία επισημάνθηκε αρχικά από τη SemiAnalysis, η οποία σημείωσε ότι η Raiden καταλαμβάνει το ίδιο επίπεδο στην αρχιτεκτονική εξαγωγής συμπερασμάτων με τη βιβλιοθήκη NIXL της NVIDIA ↗ 2.27%, παρέχοντας μεταφορά KV-cache μεταξύ των σταδίων προ-συμπλήρωσης (prefill) και αποκωδικοποίησης (decode), καθώς και βασικές λειτουργίες για την αποφόρτωση της μνήμης cache.x+1

Τι κάνει η Raiden

Η σύγχρονη εξαγωγή συμπερασμάτων μεγάλη κλίμακας χωρίζει την εργασία σε δύο φάσεις: την προ-συμπλήρωση, η οποία επεξεργάζεται την εντολή εισόδου, και την αποκωδικοποίηση, η οποία δημιουργεί διακριτικά στοιχεία (tokens) ένα προς ένα. Η εκτέλεση και των δύο στο ίδιο τσιπ είναι μη αποδοτική, επομένως τα συστήματα παραγωγής τα διαχωρίζουν σε διαφορετικές ομάδες υλικού. Όταν ολοκληρωθεί η προ-συμπλήρωση, παράγει μια KV-cache, δηλαδή την ενεργή μνήμη του μοντέλου για την είσοδό του, η οποία πρέπει να μεταφερθεί γρήγορα στα τσιπ αποκωδικοποίησης.officechai

Η Raiden διαχειρίζεται αυτή τη μεταβίβαση. Σύμφωνα με την τεκμηρίωση του αποθετηρίου της, η βιβλιοθήκη περιλαμβάνει ενότητες για άμεση μεταφορά από τσιπ σε τσιπ εντός της ίδιας μηχανής, μεταφορά μεταξύ εικονικών μηχανών (VM) μέσω δικτύου, καθώς και αποφόρτωση συστοιχιών cache από τη μνήμη TPU στη μνήμη RAM του συστήματος. Μια λειτουργία κοινόχρηστης μνήμης επιτρέπει στη μνήμη cache να διατηρείται στη DRAM ακόμα και αν ο διακομιστής του μοντέλου επανεκκινηθεί, κάτι που είναι χρήσιμο κατά τις τακτικές ενημερώσεις παραγωγής.officechai

Η τεκμηρίωση της Google σημειώνει ότι το έργο βρίσκεται ακόμη υπό ενεργό ανάπτυξη και δεν προορίζεται ακόμα για γενική χρήση σε περιβάλλον παραγωγής.

Στρατηγικό πλαίσιο

Η Google δεν έχει πουλήσει ποτέ τα TPU ως αυτόνομο υλικό, αλλά η πελατειακή βάση για τα εξειδικευμένα τσιπ της έχει διευρυνθεί. Η Anthropic έχει εξασφαλίσει πρόσβαση σε ένα εκατομμύριο TPU, ενώ η OpenAI έχει αρχίσει να χρησιμοποιεί τα Google TPU για τμήματα των λειτουργιών της.officechai

Καθένας από αυτούς τους πελάτες χρειάζεται λογισμικό και εργαλεία συγκρίσιμα με αυτά που έχουν αναπτυχθεί γύρω από τις GPU της NVIDIA. Πλαίσια όπως το vLLM και το SGLang είναι βαθιά ενσωματωμένα με το NIXL. Εάν η Raiden επιτύχει παρόμοια ενσωμάτωση, οι εταιρείες που εκτελούν ήδη διαχωρισμένη εξυπηρέτηση βασισμένη σε NVIDIA θα μπορούσαν να κατευθύνουν φόρτους εργασίας σε TPU με λιγότερο μηχανικό κόστος.officechai

Η χρονική στιγμή συμπίπτει επίσης με την αλλαγή στρατηγικής της ίδιας της NVIDIA υπέρ του ανοιχτού κώδικα. Στις 4 Αυγούστου, η NVIDIA ανακοίνωσε ότι θα ανοίξει τα API cuFile και την αρχιτεκτονική αποθήκευσής της μέσω ενός νέου οργανισμού στο GitHub στον οποίο συμμετέχουν διάφοροι κατασκευαστές, με τις Google, Intel ↗ 1.84% και Meta ↗ 0.37% να περιλαμβάνονται στους αρχικούς συντηρητές.igorslab

Αγώνας δρόμου για το οικοσύστημα

Οι παράλληλες αυτές κινήσεις υποδηλώνουν μια ευρύτερη αλλαγή στον κλάδο προς την εξωτερίκευση των υποδομών εξαγωγής συμπερασμάτων, τις οποίες οι προμηθευτές κρατούσαν κάποτε κλειστές. Για την Google, ο υπολογισμός είναι απλός: τα ανοιχτά εργαλεία μειώνουν το εμπόδιο για τις εξωτερικές ομάδες να υιοθετήσουν τα TPU για φόρτους εργασίας παραγωγής, αντί να επιλέγουν από προεπιλογή την αρχιτεκτονική της NVIDIA απλώς και μόνο επειδή είναι καλύτερα τεκμηριωμένη στον ανοιχτό κώδικα.officechai

Η NVIDIA έχει υποστηρίξει στο παρελθόν ότι οι GPU της παραμένουν μια γενιά μπροστά και αποτελούν τη μόνη πλατφόρμα που εκτελεί κάθε μοντέλο AI σε κάθε σημείο όπου πραγματοποιείται υπολογιστική δραστηριότητα. Το αν αυτή η θέση θα διατηρηθεί καθώς η Google συνεχίζει να ανοίγει τμήματα της τεχνολογικής της υποδομής παραμένει το κεντρικό ερώτημα για τις επιχειρήσεις που επιλέγουν πού θα εκτελέσουν εξαγωγή συμπερασμάτων σε μεγάλη κλίμακα.officechai