Google følger etter Amazon i kampen om AI-utviklere fra Nvidia

Google Alphabet Inc. ↘ 1.08% kunngjorde tirsdag 20. oktober at TorchTPU, deres native PyTorch-backend for Tensor Processing Units, nå er åpen kildekode. Amazon Amazon.com, Inc. ↘ 0.95% avduket et lignende verktøy, TorchNeuron, dagen før. Begge selskapene retter seg mot programvarefordelen som holder de fleste AI-applikasjoner låst til Nvidias ↘ 0.59% grafikkbrikker.techcrunch.com

PyTorch er rammeverket med åpen kildekode som de fleste AI-utviklere bruker for å bygge og kjøre modeller. Mange av funksjonene er bygget rundt Nvidia-maskinvare. Hvert verktøy lar utviklere flytte eksisterende kode til en konkurrerende brikke med en konfigurasjonsendring i stedet for en fullstendig omskriving.techcrunch.com

Googles TorchTPU blir offentlig

Google utviklet TorchTPU sammen med Metas ↘ 0.96% PyTorch-team og gjorde det offentlig under PyTorch Conference North America i San Jose. Koden ligger på GitHub under Apache 2.0-lisensen. Google opplyser at de har samarbeidet med Meta, Hugging Face, vLLM-skaperen Inferact og SGLang-skaperen RadixArk for at vanlige verktøy skal fungere på TPU-er slik de gjør i standard PyTorch. De lanserte også en TPU-agentsuite for å hjelpe utviklere med å migrere applikasjoner og rette feil. SGLang-teamet opplyser at deres TorchTPU-servermotor allerede er i produksjon hos Meta. Google sier at deres nye vLLM- og SGLang-motorer betjener forhåndsvisningskunder i stor skala. Google beskrev TorchTPU første gang i april og har testet det med utvalgte kunder.lmsys.org+4

Amazons TorchNeuron retter seg mot Trainium

Amazon annonserte TorchNeuron mandag 19. oktober og lanserte det som en åpen beta tirsdag. Verktøyet kjører på Trainium2- og Trainium3-instanser. Utviklere aktiverer det ved å endre PyTorch-enhetsinnstillingen til "neuron". Amazon sender også endringer til hovedprosjektet PyTorch som fjerner kode som binder rammeverket til spesifikke brikker. Før TorchNeuron måtte utviklere skrive om PyTorch-kode for å kalle grensesnitt spesifikke for Trainium, sier Colin Brace, en leder ved Amazons brikkeenhet Annapurna Labs.aws.amazon.com+2

Gjenstående utfordringer

Den første utgivelsen har begrensninger. TorchNeuron støtter ennå ikke enkelte funksjoner, som dynamiske inndataformer, og rundt 22 000 PyTorch-tester er utelatt. Google har også uttalt at utviklere fortsatt kan måtte justere modelldesign eller skrive tilpasset kode for å få best mulig ytelse fra TPU-er. Nvidias forsprang hviler delvis på CUDA, deres programvareplattform for å kjøre modeller på GPU-er. Bibliotekene og feilsøkingsverktøyene deres danner et økosystem som konkurrerende brikkeprodusenter også må konkurrere mot. Å kunne bytte brikker enkelt betyr ikke at utviklere vil forlate Nvidia-maskinvare i store antall. Likevel jobber Amazon og Google tydelig for å bryte Nvidias dominans.thenextweb.com+2