AI-inferens

Google gjør TPU Raiden til åpen kildekode for å utfordre Nvidias inferensplattform

Google Alphabet Inc. har gitt ut TPU Raiden som åpen kildekode. Dette er et bibliotek for inferensoptimalisering som håndterer KV-cache-dataoverføring mellom brikker under kjøring av store språkmodeller. Kodebasen er tilgjengelig på GitHub under Apache-2.0-lisensen, noe som er et av de…