OpenAI asegura que su chip Jalapeño supera a Nvidia en inferencia

OpenAI publicó el martes pruebas de rendimiento que muestran que su chip de inferencia personalizado Jalapeño supera a Nvidia ↘ 4.58% y a otros competidores tanto en rendimiento de procesamiento como en eficiencia energética, lo que representa el desafío público más detallado de la empresa de IA hasta la fecha a la supremacía de hardware del fabricante de chips dominante.

Las pruebas de rendimiento, compartidas antes de la presentación de OpenAI en la conferencia de semiconductores Hot Chips en Stanford, muestran que Jalapeño ofrece entre 1.5 y 1.9 veces más trabajo de IA por vatio y una latencia de extremo a extremo entre 1.7 y 3.6 veces menor que los sistemas GB200 y GB300 de Nvidia al ejecutar modelos como DeepSeek R1, la versión de 1 billón de parámetros de Kimi K2.5 y el propio GPT-OSS 120B de OpenAI.axios+1

Una máquina de inferencia a escala de rack

El chip, codesarrollado con Broadcom ↘ 0.74% y anticipado por primera vez en junio, fue diseñado desde cero exclusivamente para la inferencia de modelos de lenguaje grandes (LLM). A nivel de sistema, cada rack de Jalapeño contiene 128 aceleradores que ofrecen 1.7 exaFLOPS de computación de 4 bits, 27.5 TB de memoria HBM4 y casi 2 petabytes por segundo de ancho de banda de memoria.theregister

Richard Ho, vicepresidente de hardware de OpenAI, declaró a los periodistas que el chip ofrece "lo mejor de ambos mundos" con menor latencia y mayor rendimiento de procesamiento, ya que los sistemas de IA normalmente "tienen que elegir entre una cosa y la otra".theverge

Según SemiAnalysis, que ejecutó su conjunto de pruebas de rendimiento InferenceX en el chip dentro de los laboratorios de OpenAI, Jalapeño alcanzó más de 700 tokens por segundo por usuario con una concurrencia de 1 en DeepSeek R1, todo ello sin decodificación especulativa ni desagregación de prellenado y decodificación, técnicas en las que confían sus competidores para inflar sus cifras.newsletter.semianalysis

Del diseño al silicio: velocidad y límites

OpenAI pasó de la contratación del equipo inicial a la finalización del diseño para fabricación (tape-out) en aproximadamente 16 meses, completando este proceso para el chip en noviembre de 2025. La empresa señaló que la asistencia de IA contribuyó a una reducción del 8 por ciento en el área SIMD y del 10 por ciento en el área del motor de matrices durante el diseño.newsletter.semianalysis

Aun así, Jalapeño solo gestiona la inferencia, no el entrenamiento. "Vamos a necesitar mucha capacidad de cómputo", afirmó Ho. "Y Jalapeño es parte de eso. Cerberus es parte de eso. Nvidia es parte de eso. AMD Advanced Micro Devices, Inc. ↘ 2.33% es parte de eso".axios

Despliegue y competencia

OpenAI planea un despliegue limitado para finales de 2026, y se espera que la producción en masa aumente a lo largo de 2027. La empresa ya está desarrollando un chip de segunda generación y ya se perfilan los planes para un tercero.theverge+1

SemiAnalysis señaló advertencias importantes: las pruebas de rendimiento utilizaron una carga de trabajo relativamente simple de 8k de entrada y 1k de salida, en lugar de las cargas de trabajo de agentes más exigentes que ponen a prueba el almacenamiento en caché y el enrutamiento. Además, una comparación con la arquitectura más reciente Vera Rubin de Nvidia, que utiliza la misma memoria HBM4, sería más equitativa.newsletter.semianalysis

El chip se suma a un mercado ya saturado. Google Alphabet Inc. ↗ 1.53% cuenta con su línea TPU, Amazon Amazon.com, Inc. ↗ 3.97% y Microsoft ↗ 1.68% tienen sus propios diseños, y Anthropic confirmó a principios de este mes que está desarrollando su propio chip interno. OpenAI no tiene planes de vender Jalapeño de forma externa. "Tenemos tanta necesidad de él que no podemos imaginar cuándo podríamos hacerlo", declaró Ho.axios