Inférence IA

Google passe la bibliothèque TPU Raiden en open source pour rivaliser avec Nvidia

Google Alphabet Inc. a rendu open source TPU Raiden, une bibliothèque d'optimisation de l'inférence qui gère le déplacement des données du KV-cache entre les puces lors de la mise à disposition de grands modèles linguistiques. Le dépôt est disponible sur…