TPUs

Google libera la biblioteca TPU Raiden para rivalizar con el entorno de inferencia de Nvidia

Google Alphabet Inc. ha publicado como código abierto TPU Raiden, una biblioteca de optimización de inferencia que gestiona el movimiento de datos de KV-cache entre chips durante la ejecución de modelos de lenguaje de gran tamaño. El repositorio está disponible…