OpenAI encuentra una optimización que reduce a la mitad los costes de inferencia

Los ingenieros de OpenAI desarrollaron a principios de este mes una optimización que reduce los costes de inferencia en más de la mitad para los modelos a los que se ha aplicado, según un informe de The Information. El avance, que se deriva de exprimir una mayor eficiencia de los recursos de servidor existentes en lugar de desplegar chips adicionales, marca un avance notable en la economía de ejecutar grandes modelos de lenguaje a escala.digg+1

Una solución de software, no de hardware

Después de que la optimización se aplicara al tráfico de ChatGPT sin iniciar sesión, el número de GPU necesarias para alimentar ese tráfico se redujo a solo unos cientos, según la información publicada el lunes. El equipo de ingeniería de OpenAI informó a sus colegas internamente que el método mejora principalmente la eficiencia de utilización de la infraestructura de servidores existente. La empresa no ha hecho comentarios públicos sobre el desarrollo.odaily+2

La reducción de costes llega en un momento en que OpenAI se enfrenta a crecientes gastos de computación. La empresa gastó 3.700 millones de dólares solo en el primer trimestre de 2026, más de la mitad de sus 5.700 millones de dólares de ingresos para el periodo, según The Information. OpenAI también está buscando soluciones de hardware en paralelo: la semana pasada, la empresa presentó Jalapeño, su primer chip de inferencia personalizado desarrollado conjuntamente con Broadcom ↗ 4.00%, diseñado para ofrecer un mejor rendimiento por vatio para aplicaciones de modelos de lenguaje.techcrunch+2

Una carrera en toda la industria

La optimización se enmarca en una competencia más amplia entre las empresas de IA para reducir el coste de servir modelos a los usuarios. Anthropic ha firmado acuerdos para varios gigavatios de capacidad de TPU de próxima generación de Google Alphabet Inc. ↗ 0.84% y Broadcom, y se espera que la capacidad entre en funcionamiento a partir del próximo año. Anthropic también ha mantenido conversaciones iniciales con la startup londinense Fractile sobre la compra de chips de inferencia especializados, aunque no se espera que estén disponibles comercialmente hasta alrededor de 2027.reddit+2

La carrera por reducir los costes de inferencia se ha convertido en una preocupación central en toda la industria, con los presupuestos de IA empresarial dominados ahora por el gasto en inferencia. Para OpenAI, que se prevé que agote 17.000 millones de dólares en efectivo en 2026, cualquier método que reduzca a la mitad el coste de servir a sus cientos de millones de usuarios podría alterar significativamente su camino hacia la rentabilidad.economist+1