TPUs

Η Google Alphabet Inc. διέθεσε ως ανοιχτό κώδικα τη βιβλιοθήκη βελτιστοποίησης εξαγωγής συμπερασμάτων TPU Raiden, η οποία διαχειρίζεται τη μεταφορά δεδομένων KV-cache μεταξύ τσιπ κατά την εξυπηρέτηση μεγάλων γλωσσικών μοντέλων. Το αποθετήριο είναι διαθέσιμο στο GitHub υπό την άδεια Apache-2.0,…