Google rejoint Amazon pour attirer les développeurs IA loin de Nvidia

Google Alphabet Inc. ↘ 2.43% a annoncé mardi 20 octobre que TorchTPU, son backend PyTorch natif pour ses unités de traitement tensoriel (TPU), est désormais en open source. Amazon Amazon.com, Inc. ↘ 4.06% avait dévoilé un outil similaire, TorchNeuron, un jour plus tôt. Les deux entreprises ciblent l'avantage logiciel qui maintient la plupart des applications d'IA liées aux puces graphiques de Nvidia ↘ 3.91%.techcrunch.com

PyTorch est le framework open source que la plupart des développeurs d'IA utilisent pour créer et exécuter des modèles. Bon nombre de ses fonctionnalités ont été conçues autour du matériel Nvidia. Chaque outil permet aux développeurs de déplacer le code existant vers une puce concurrente avec un changement de configuration plutôt qu'une réécriture.techcrunch.com

TorchTPU de Google devient public

Google a construit TorchTPU avec l'équipe PyTorch de Meta ↘ 6.34% et l'a rendu public lors de la conférence PyTorch North America à San Jose. Le code est disponible sur GitHub sous licence Apache 2.0. Google a déclaré avoir travaillé avec Meta, Hugging Face, le fabricant de vLLM Inferact et le fabricant de SGLang RadixArk afin que les outils courants se comportent sur les TPU comme ils le font dans PyTorch standard. Il a également lancé une suite d'agents TPU pour aider les développeurs à migrer des applications et à corriger des erreurs. L'équipe SGLang a déclaré que son moteur de service TorchTPU est déjà en production chez Meta. Google a indiqué que ses nouveaux moteurs vLLM et SGLang servent des clients en avant-première à grande échelle. Google a décrit TorchTPU pour la première fois en avril et l'avait testé avec certains clients.lmsys.org+4

TorchNeuron d'Amazon cible Trainium

Amazon a annoncé TorchNeuron le lundi 19 octobre et l'a publié en tant que bêta publique open source mardi. L'outil fonctionne sur les instances Trainium2 et Trainium3. Les développeurs l'activent en changeant le paramètre de périphérique PyTorch sur "neuron". Amazon envoie également des modifications au projet principal PyTorch qui suppriment le code liant le framework à des puces spécifiques. Avant TorchNeuron, les développeurs devaient réécrire le code PyTorch pour appeler des interfaces spécifiques à Trainium, a déclaré Colin Brace, cadre chez Annapurna Labs, l'unité de puces d'Amazon.aws.amazon.com+2

Des lacunes subsistent

La première version a des limites. TorchNeuron ne prend pas encore en charge certaines fonctionnalités, telles que les formes d'entrée dynamiques, et environ 22 000 tests PyTorch sont ignorés. Google a également déclaré que les développeurs pourraient encore avoir besoin d'ajuster la conception du modèle ou d'écrire du code personnalisé pour obtenir les meilleures performances des TPU. L'avance de Nvidia repose en partie sur CUDA, sa plateforme logicielle pour exécuter des modèles sur ses GPU. Ses bibliothèques et outils de débogage forment un écosystème avec lequel les fabricants de puces rivaux doivent également rivaliser. Pouvoir changer facilement de puce ne signifie pas que les développeurs abandonneront le matériel Nvidia en grand nombre. Pourtant, Amazon et Google travaillent clairement à mettre fin à l'avantage de Nvidia.thenextweb.com+2