Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]

developers.googleblog.com+1.aws.amazon.com+1.techcrunch.com+1.Google Alphabet Inc. , 20 Ekim Salı günü, Tensor İşleme Birimleri (TPU) için yerel PyTorch arka ucu olan TorchTPU'nun artık açık kaynak olduğunu duyurdu. Amazon Amazon.com, Inc. ise bir gün önce benzer bir araç olan TorchNeuron'u tanıtmıştı. Her iki şirket de çoğu AI uygulamasını Nvidia grafik çiplerine bağlı tutan yazılım avantajını hedef alıyor.techcrunch.com
PyTorch, çoğu AI geliştiricisinin modeller oluşturmak ve çalıştırmak için kullandığı açık kaynaklı bir çerçevedir. Özelliklerinin çoğu Nvidia donanımı etrafında inşa edilmiştir. Her iki araç da geliştiricilerin mevcut kodu yeniden yazmak yerine bir yapılandırma değişikliğiyle rakip bir çipe taşımasına olanak tanıyor.techcrunch.com
Google, TorchTPU'yu Meta 'nın PyTorch ekibiyle birlikte geliştirdi ve San Jose'deki PyTorch Kuzey Amerika Konferansı'nda halka duyurdu. Kod, Apache 2.0 lisansı altında GitHub'da bulunuyor. Google, ortak araçların TPU'larda standart PyTorch'taki gibi davranması için Meta, Hugging Face, vLLM üreticisi Inferact ve SGLang üreticisi RadixArk ile çalıştığını belirtti. Ayrıca, geliştiricilerin uygulamaları taşımasına ve hataları düzeltmesine yardımcı olmak için bir TPU aracı paketi başlattı. SGLang ekibi, TorchTPU sunum motorlarının halihazırda Meta'nın üretim ortamında çalıştığını söyledi. Google, yeni vLLM ve SGLang motorlarının önizleme müşterilerine geniş ölçekte hizmet verdiğini belirtti. Google, TorchTPU'yu ilk kez Nisan ayında tanımlamış ve seçkin müşterilerle test ediyordu.lmsys.org+4
Amazon, TorchNeuron'u 19 Ekim Pazartesi günü duyurdu ve 20 Ekim Salı günü açık kaynaklı bir halka açık beta olarak yayınladı. Araç, Trainium2 ve Trainium3 örneklerinde çalışıyor. Geliştiriciler, PyTorch cihaz ayarını "neuron" olarak değiştirerek aracı etkinleştiriyor. Amazon ayrıca, çerçeveyi belirli çiplere bağlayan kodu kaldıran değişiklikleri ana PyTorch projesine gönderiyor. Amazon'un Annapurna Labs çip birimi yöneticisi Colin Brace, TorchNeuron'dan önce geliştiricilerin Trainium'a özgü arayüzleri çağırmak için PyTorch kodunu yeniden yazmak zorunda kaldıklarını söyledi.aws.amazon.com+2
İlk sürümün sınırları var. TorchNeuron henüz dinamik giriş şekilleri gibi bazı özellikleri desteklemiyor ve yaklaşık 22.000 PyTorch testi atlanıyor. Google ayrıca, geliştiricilerin TPU'lardan en iyi performansı almak için model tasarımını ayarlamaları veya özel kod yazmaları gerekebileceğini belirtti. Nvidia'nın liderliği kısmen, modelleri GPU'larında çalıştırmak için kullandığı yazılım platformu olan CUDA'ya dayanıyor. Kütüphaneleri ve hata ayıklama araçları, rakip çip üreticilerinin de rekabet etmek zorunda olduğu bir ekosistem oluşturuyor. Çipleri kolayca değiştirebilmek, geliştiricilerin Nvidia donanımını büyük sayılarla terk edeceği anlamına gelmiyor. Yine de Amazon ve Google, Nvidia'nın avantajını sona erdirmek için açıkça çalışıyor.thenextweb.com+2