Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]

developers.googleblog.com+1:aws.amazon.com+1:techcrunch.com+1:Google Alphabet Inc. ընկերությունը երեքշաբթի՝ հոկտեմբերի 20-ին, հայտարարեց, որ TorchTPU-ն՝ իր Tensor Processing Units-ի համար նախատեսված PyTorch բեքենդը, այժմ բաց կոդով է: Amazon Amazon.com, Inc. ընկերությունը մեկ օր առաջ ներկայացրել էր նմանատիպ գործիք՝ TorchNeuron-ը: Երկու ընկերություններն էլ թիրախավորում են այն ծրագրային առավելությունը, որը AI հավելվածների մեծ մասը կապում է Nvidia գրաֆիկական չիպերի հետ:techcrunch.com
PyTorch-ը բաց կոդով շրջանակ է, որն օգտագործվում է AI մշակողների մեծամասնության կողմից մոդելներ կառուցելու և գործարկելու համար: Դրա գործառույթներից շատերը կառուցված էին Nvidia-ի սարքավորումների շուրջ: Յուրաքանչյուր գործիք թույլ է տալիս մշակողներին տեղափոխել առկա կոդը մրցակից չիպի վրա՝ կոնֆիգուրացիայի փոփոխությամբ, այլ ոչ թե այն ամբողջությամբ վերագրելով:techcrunch.com
Google-ը ստեղծել է TorchTPU-ն Meta -ի PyTorch թիմի հետ համատեղ և այն հանրայնացրել Սան Խոսեում կայացած PyTorch North America կոնֆերանսի ժամանակ: Կոդը հասանելի է GitHub-ում Apache 2.0 լիցենզիայով: Google-ը հայտնել է, որ համագործակցել է Meta-ի, Hugging Face-ի, vLLM ստեղծող Inferact-ի և SGLang ստեղծող RadixArk-ի հետ, որպեսզի ընդհանուր գործիքները TPU-ների վրա աշխատեն այնպես, ինչպես ստանդարտ PyTorch-ում: Այն նաև գործարկել է TPU գործակալների փաթեթ՝ օգնելու մշակողներին հավելվածների միգրացիայի և սխալների շտկման հարցում: SGLang-ի թիմը հայտնել է, որ իրենց TorchTPU սպասարկման շարժիչն արդեն աշխատում է Meta-ի արտադրությունում: Google-ը նշել է, որ իր նոր vLLM և SGLang շարժիչները սպասարկում են նախնական դիտման հաճախորդներին մեծ մասշտաբով: Google-ն առաջին անգամ նկարագրել էր TorchTPU-ն ապրիլին և այն փորձարկում էր ընտրված հաճախորդների հետ:lmsys.org+4
Amazon-ը հայտարարեց TorchNeuron-ի մասին երկուշաբթի՝ հոկտեմբերի 19-ին, և այն թողարկեց որպես բաց կոդով հանրային բետա երեքշաբթի օրը: Գործիքն աշխատում է Trainium2 և Trainium3 օրինակների վրա: Մշակողները այն ակտիվացնում են PyTorch սարքի կարգավորումը "neuron"-ի փոխելով: Amazon-ը նաև փոփոխություններ է ուղարկում հիմնական PyTorch նախագծին, որոնք հեռացնում են շրջանակը կոնկրետ չիպերի հետ կապող կոդը: Մինչ TorchNeuron-ը, մշակողները ստիպված էին վերագրել PyTorch կոդը՝ Trainium-ին հատուկ ինտերֆեյսներ կանչելու համար, ասել է Amazon-ի Annapurna Labs չիպերի ստորաբաժանման գործադիր տնօրեն Քոլին Բրեյսը:aws.amazon.com+2
Առաջին թողարկումն ունի սահմանափակումներ: TorchNeuron-ը դեռևս չի աջակցում որոշ գործառույթներ, ինչպիսիք են դինամիկ մուտքային ձևերը, և մոտ 22,000 PyTorch թեստեր բաց են թողնված: Google-ը նաև նշել է, որ մշակողները դեռ կարող են կարիք ունենալ հարմարեցնել մոդելի դիզայնը կամ գրել հատուկ կոդ՝ TPU-ներից լավագույն արդյունավետությունը ստանալու համար: Nvidia-ի առաջատարությունը մասամբ հիմնված է CUDA-ի վրա՝ իր ծրագրային հարթակի, որը մոդելները գործարկում է իր GPU-ների վրա: Դրա գրադարանները և վրիպազերծման գործիքները կազմում են մի էկոհամակարգ, որի հետ մրցակից չիպ արտադրողները նույնպես պետք է մրցեն: Չիպերը հեշտությամբ փոխելու հնարավորությունը չի նշանակում, որ մշակողները զանգվածաբար կլքեն Nvidia-ի սարքավորումները: Այնուամենայնիվ, Amazon-ը և Google-ը ակնհայտորեն աշխատում են Nvidia-ի առավելությունը վերացնելու ուղղությամբ:thenextweb.com+2