Nvidia lanza un modelo de IA gratuito y de código abierto para agentes

Nvidia ↘ 1.47% lanzó el martes Nemotron 3.5 Lightning, un modelo de IA gratuito y de código abierto diseñado para uso empresarial que puede ejecutarse en una sola GPU, junto con una nueva herramienta de enrutamiento de modelos llamada NeMo Switchyard, diseñada para reducir los costos en las cargas de trabajo de IA.

El lanzamiento representa el primer modelo de código abierto de Nvidia desde que su director ejecutivo, Jensen Huang, publicó una carta abierta en X a finales de julio defendiendo los modelos de IA abiertos e instando al gobierno de EE. UU. a evitar restricciones que pudieran desplazar la innovación al extranjero.cnbc

Un modelo ligero para agentes siempre activos

Nemotron 3.5 Lightning es un modelo de mezcla de expertos de 30.000 millones de parámetros diseñado para tareas especializadas de gran volumen dentro de sistemas multiagente más grandes. Nvidia afirmó que el modelo ofrece una velocidad de salida hasta cuatro veces mayor y una finalización de tareas de agentes un 30% más rápida en comparación con otros modelos de su clase.blogs.nvidia+1

El modelo es totalmente personalizable y se puede entrenar posteriormente con los datos propios de una organización. Kari Briski, vicepresidenta de software de IA generativa de Nvidia, declaró a Wall Street Journal News Corp ↘ 3.58% que el modelo es "increíblemente fácil de personalizar". Citó a CodeRabbit como ejemplo: la empresa utilizó la receta de entrenamiento estándar de Nvidia y produjo un agente de enrutamiento por 85 dólares en unas dos horas. Empresas como CrowdStrike ↗ 4.97% y Harvey también han probado y personalizado el modelo.siliconangle+1

Para Nvidia, la IA de código abierto responde a un claro interés comercial. "La IA gratuita debería ser excelente para el hardware", dijo Huang a Axios el mes pasado. "La IA gratuita debería ser excelente para los chips".cnbc

NeMo Switchyard: enrutamiento hacia el modelo adecuado

Junto con Lightning, Nvidia lanzó NeMo Switchyard, una biblioteca de enrutamiento de modelos de código abierto que dirige automáticamente cada solicitud de un agente de IA al modelo más adecuado en función de la calidad, la latencia y el costo. Las pruebas de rendimiento internas demostraron que Switchyard mantuvo una precisión de nivel de frontera al tiempo que redujo el costo de finalización de tareas a casi un tercio en comparación con el uso exclusivo de un único modelo de frontera.blogs.nvidia

Los socios informaron de los primeros resultados: Ramp igualó el rendimiento del modelo de frontera al tiempo que redujo los costos en un 58% y el tiempo de ejecución en un 33%, mientras que LangChain logró un costo un 74% menor al enrutar solo el 7% de las llamadas a un modelo de frontera.developer.nvidia+1

La carrera armamentista de la IA de código abierto

El lanzamiento se produce un día después de que el director ejecutivo de Meta Platforms ↗ 1.02%, Mark Zuckerberg, publicara un manifiesto a favor de la IA de código abierto, al tiempo que Meta lanzaba un nuevo modelo de programación. El movimiento de Nvidia también sigue a la entrada de Huang en un debate político provocado por el modelo chino Kimi K3, que despertó preocupación en Washington sobre el robo de propiedad intelectual mediante técnicas de destilación.cnbc

Nemotron 3.5 Lightning está disponible en Hugging Face, ModelScope, OpenRouter y las propias plataformas de Nvidia. Nvidia también está desarrollando un modelo Nemotron 4 de próxima generación, según El Information.tradingview+1