Google se une a Amazon para atraer a desarrolladores de IA lejos de Nvidia

Google Alphabet Inc. ↘ 1.11% anunció el martes 20 de octubre que TorchTPU, su backend nativo de PyTorch para sus unidades de procesamiento tensorial (TPU), es ahora de código abierto. Amazon Amazon.com, Inc. ↗ 0.07% había presentado una herramienta similar, TorchNeuron, un día antes. Ambas empresas apuntan a la ventaja de software que mantiene a la mayoría de las aplicaciones de IA vinculadas a los chips gráficos de Nvidia ↘ 0.29%.techcrunch.com

PyTorch es el marco de trabajo de código abierto que la mayoría de los desarrolladores de IA utilizan para crear y ejecutar modelos. Muchas de sus funciones fueron creadas en torno al hardware de Nvidia. Cada herramienta permite a los desarrolladores trasladar el código existente a un chip rival con un cambio de configuración en lugar de una reescritura.techcrunch.com

TorchTPU de Google se hace público

Google creó TorchTPU junto con el equipo de PyTorch de Meta ↘ 1.59% y lo hizo público en la conferencia PyTorch North America en San José. El código está en GitHub bajo la licencia Apache 2.0. Google afirmó que trabajó con Meta, Hugging Face, el fabricante de vLLM Inferact y el fabricante de SGLang RadixArk para que las herramientas comunes se comporten en las TPU igual que en PyTorch estándar. También lanzó un conjunto de agentes TPU para ayudar a los desarrolladores a migrar aplicaciones y corregir errores. El equipo de SGLang señaló que su motor de servicio TorchTPU ya se está ejecutando en producción en Meta. Google indicó que sus nuevos motores vLLM y SGLang están dando servicio a clientes de vista previa a gran escala. Google describió TorchTPU por primera vez en abril y lo había estado probando con clientes seleccionados.lmsys.org+4

TorchNeuron de Amazon apunta a Trainium

Amazon anunció TorchNeuron el lunes 19 de octubre y lo lanzó como una versión beta pública de código abierto el martes. La herramienta se ejecuta en instancias Trainium2 y Trainium3. Los desarrolladores la habilitan cambiando la configuración del dispositivo PyTorch a "neuron". Amazon también está enviando cambios al proyecto principal de PyTorch que eliminan el código que vincula el marco de trabajo a chips específicos. Antes de TorchNeuron, los desarrolladores tenían que reescribir el código de PyTorch para llamar a interfaces específicas de Trainium, dijo Colin Brace, ejecutivo de la unidad de chips Annapurna Labs de Amazon.aws.amazon.com+2

Persisten las brechas

El primer lanzamiento tiene límites. TorchNeuron aún no admite algunas funciones, como las formas de entrada dinámicas, y se omiten unas 22,000 pruebas de PyTorch. Google también ha dicho que es posible que los desarrolladores aún necesiten ajustar el diseño del modelo o escribir código personalizado para obtener el mejor rendimiento de las TPU. La ventaja de Nvidia reside en parte en CUDA, su plataforma de software para ejecutar modelos en sus GPU. Sus bibliotecas y herramientas de depuración forman un ecosistema con el que los fabricantes de chips rivales también tienen que competir. Poder cambiar de chip fácilmente no significa que los desarrolladores abandonarán el hardware de Nvidia en grandes cantidades. Aun así, Amazon y Google están trabajando claramente para acabar con la ventaja de Nvidia.thenextweb.com+2