TPUs

Google zpřístupnil knihovnu TPU Raiden, chce konkurovat inferenčnímu steku Nvidie

Společnost Google ze skupiny Alphabet Inc. zpřístupnila jako open-source TPU Raiden, knihovnu pro optimalizaci inference, která spravuje přesuny dat KV-cache mezi čipy při obsluze velkých jazykových modelů. Repositář je dostupný na GitHubu pod licencí Apache-2.0, což představuje jeden z nejjasnějších…

Máte vše přečteno

Viděli jste všechny hlavní zprávy za poslední 2 dny.