OpenAI lanza su API de decisiones rápidas para todos los clientes

OpenAI hizo que su Decisions API estuviera disponible de forma general el jueves 22 de octubre. La herramienta está construida sobre GPT-6 Luna y responde preguntas acotadas "hasta 10 veces más rápido que GPT-6 Luna a través de la API de respuestas", según la compañía. El lanzamiento pone a OpenAI en competencia directa con TypeSafe, una startup cuyo modelo Jev creó la categoría de modelos de "decisión" rápidos y baratos, ayudando a que la empresa alcance una valoración de 7.600 millones de dólares, informó TechCrunch.openai.com+1

Qué cambió desde la beta

La API omite la generación de texto completo. Los desarrolladores escriben una pregunta, enumeran las respuestas permitidas y proporcionan contexto como texto, imágenes o JSON. La API devuelve entonces una probabilidad, una elección o una puntuación de rúbrica sobre la que una aplicación puede actuar, señaló OpenAI. El registro de cambios de OpenAI muestra que la API entró en fase beta el 6 de octubre. Desde entonces, OpenAI ha añadido una integración de voz nativa GPT-Live, almacenamiento en caché de prompts y residencia de inferencia en EE. UU. y la UE. También duplicó el límite a 400 preguntas por solicitud, indicó la empresa. El precio es de 0,10 dólares por millón de tokens de entrada y 0,01 dólares por millón de tokens en caché, sin cargo por los tokens de salida.community.openai.com+2

Varios clientes iniciales reportaron ganancias de velocidad. Box ↘ 0.54% dijo que la selección de rutas fue aproximadamente 5 veces más rápida. Datadog ↗ 0.31% informó que vio una latencia p95 40 veces más rápida que los modelos de frontera al evaluar el riesgo de comandos generados por agentes. La aplicación de aprendizaje de idiomas Speak dijo que su tiempo para la siguiente acción cayó de 1,4 segundos a 0,13 segundos.openai.com

La carrera con Jev

Nikunj Handa, jefe de producto de API de OpenAI, dijo a TechCrunch que sus colegas que vieron Jev reaccionaron con un "vaya, tenemos como un millón de casos de uso para esto". Dijo que OpenAI no entrenó un modelo de decisión dedicado. En cambio, reconfiguró Luna para que funcionara más rápido y barato. "En este momento, es solo el viejo Luna el que hace el trabajo", afirmó.techcrunch.com

OpenAI aún no lidera el campo. TechCrunch informó que el AIM System One Index y el Artificial Analysis Decision Index tienden a favorecer a D1 Ultra de Liquid y Elephant-1 de Base Lab. Jev ocupa el séptimo y tercer lugar en esos índices, mientras que el modelo de OpenAI ocupa el octavo y decimocuarto. Los modelos de TypeSafe también son los más consultados en OpenRouter. Jev también es más barato, con un precio de lista de 0,042 dólares por millón de tokens de entrada, pero solo acepta texto, señaló un análisis de desarrolladores.cellcog.ai+1

Apostando por imágenes y velocidad

Handa dijo que el manejo de imágenes podría darle a OpenAI una ventaja. "Luna es extremadamente potente y ha mostrado mejores calibraciones" para la clasificación de imágenes, dijo. También sugirió que una menor latencia podría conducir a nuevos usos. "¿Podemos llevar esto a algo como 60 milisegundos, y entonces podrías imaginar una llamada a la API por cada fotograma en un video?"techcrunch.com