„Google“ kartu su „Amazon“ vilioja DI kūrėjus nuo „Nvidia“

„Google Alphabet Inc.“ ↘ 1.11% antradienį, spalio 20 d., pranešė, kad „TorchTPU“, jų natūrali „PyTorch“ pagrindinė sistema, skirta „Tensor Processing Units“ (TPU), dabar yra atvirojo kodo. „Amazon.com, Inc.“ ↗ 0.07% diena anksčiau pristatė panašų įrankį „TorchNeuron“. Abi bendrovės taikosi į programinės įrangos pranašumą, dėl kurio dauguma DI programų yra pririštos prie „Nvidia“ ↘ 0.29% grafikos lustų.techcrunch.com

„PyTorch“ yra atvirojo kodo sistema, kurią dauguma DI kūrėjų naudoja modeliams kurti ir paleisti. Daugelis jos funkcijų buvo sukurtos aplink „Nvidia“ aparatinę įrangą. Kiekvienas įrankis leidžia kūrėjams perkelti esamą kodą į konkuruojantį lustą pakeitus konfigūraciją, o ne perrašant visą kodą.techcrunch.com

„Google“ „TorchTPU“ tampa viešas

„Google“ sukūrė „TorchTPU“ kartu su „Meta“ ↘ 1.59% „PyTorch“ komanda ir pristatė jį „PyTorch“ konferencijoje Šiaurės Amerikoje, San Chosė. Kodas yra „GitHub“ su „Apache 2.0“ licencija. „Google“ teigė bendradarbiavusi su „Meta“, „Hugging Face“, vLLM kūrėja „Inferact“ ir SGLang kūrėja „RadixArk“, kad įprasti įrankiai TPU lustuose veiktų taip pat, kaip standartiniame „PyTorch“. Jie taip pat pristatė TPU agentų rinkinį, padedantį kūrėjams perkelti programas ir taisyti klaidas. SGLang komanda teigė, kad jų „TorchTPU“ aptarnavimo variklis jau veikia „Meta“ gamyboje. „Google“ teigė, kad jų naujieji vLLM ir SGLang varikliai aptarnauja peržiūros klientus dideliu mastu. „Google“ pirmą kartą apie „TorchTPU“ užsiminė balandį ir testavo jį su pasirinktais klientais.lmsys.org+4

„Amazon“ „TorchNeuron“ taikosi į „Trainium“

„Amazon“ apie „TorchNeuron“ paskelbė pirmadienį, spalio 19 d., o antradienį išleido jį kaip atvirojo kodo viešąją beta versiją. Įrankis veikia „Trainium2“ ir „Trainium3“ egzemplioriuose. Kūrėjai jį įjungia pakeitę „PyTorch“ įrenginio nustatymą į „neuron“. „Amazon“ taip pat siunčia pakeitimus į pagrindinį „PyTorch“ projektą, kurie pašalina kodą, pririšantį sistemą prie konkrečių lustų. Prieš „TorchNeuron“ kūrėjai turėjo perrašyti „PyTorch“ kodą, kad iškviestų „Trainium“ specifines sąsajas, sakė Colinas Brace'as, „Amazon“ „Annapurna Labs“ lustų padalinio vadovas.aws.amazon.com+2

Spragos išlieka

Pirmasis leidimas turi apribojimų. „TorchNeuron“ dar nepalaiko kai kurių funkcijų, pavyzdžiui, dinaminio įvesties formų, ir praleidžiama apie 22 000 „PyTorch“ testų. „Google“ taip pat teigė, kad kūrėjams vis tiek gali tekti koreguoti modelio dizainą arba rašyti pasirinktinį kodą, kad gautų geriausią našumą iš TPU. „Nvidia“ pranašumas iš dalies remiasi CUDA – jų programinės įrangos platforma, skirta modeliams paleisti GPU. Jos bibliotekos ir derinimo įrankiai sudaro ekosistemą, su kuria konkuruojantys lustų gamintojai taip pat turi varžytis. Galimybė lengvai perjungti lustus nereiškia, kad kūrėjai masiškai paliks „Nvidia“ aparatinę įrangą. Vis dėlto „Amazon“ ir „Google“ akivaizdžiai dirba siekdamos panaikinti „Nvidia“ pranašumą.thenextweb.com+2