TPUs

Gegen Nvidia: Google macht TPU-Bibliothek Raiden zum Open-Source-Projekt

Google Alphabet Inc. hat TPU Raiden als Open Source bereitgestellt, eine Bibliothek zur Inferenzoptimierung, die den KV-Cache-Datentransfer zwischen Chips während der Bereitstellung großer Sprachmodelle steuert. Das Repository ist auf GitHub unter der Apache-2.0-Lizenz verfügbar. Dies ist eines der bislang deutlichsten…

Du bist auf dem Laufenden

Du hast alle wichtigen Meldungen der letzten 2 Tage gesehen.