OpenAI öppnar Decisions API för alla kunder

OpenAI gjorde på torsdagen den 22 oktober sitt Decisions API allmänt tillgängligt. Verktyget är byggt på GPT-6 Luna och besvarar avgränsade frågor "upp till 10 gånger snabbare än GPT-6 Luna via Responses API," enligt företaget. Lanseringen placerar OpenAI i direkt konkurrens med TypeSafe, ett startup-bolag vars Jev-modell skapade kategorin för snabba, billiga "beslutsmodeller" och bidrog till att företaget värderades till 7,6 miljarder dollar, rapporterar TechCrunch.openai.com+1

Vad har ändrats sedan beta

API:et hoppar över generering av fulltext. Utvecklare skriver en fråga, listar tillåtna svar och tillhandahåller kontext som text, bilder eller JSON. API:et returnerar sedan en sannolikhet, ett val eller ett poängvärde som en applikation kan agera utifrån, uppger OpenAI. OpenAIs ändringslogg visar att API:et gick in i beta den 6 oktober. Sedan dess har OpenAI lagt till en inbyggd GPT-Live röstintegration, prompt-cachning, samt inferens-lagring i USA och EU. De har även fördubblat gränsen till 400 frågor per anrop, uppger företaget. Prissättningen är 0,10 dollar per miljon inmatningstokens och 0,01 dollar per miljon cachade tokens, och det tillkommer ingen avgift för utmatningstokens.community.openai.com+2

Flera tidiga kunder rapporterade om hastighetsvinster. Box ↘ 1.62% uppgav att ruttval gick ungefär 5 gånger snabbare. Datadog ↗ 0.21% meddelade att de såg 40 gånger snabbare p95-latens än frontmodeller vid riskbedömning av agent-genererade kommandon. Språkinlärningsappen Speak uppgav att tiden till nästa åtgärd sjönk från 1,4 sekunder till 0,13 sekunder.openai.com

Kapplöpningen med Jev

Nikunj Handa, produktchef för OpenAI API, berättade för TechCrunch att kollegor som såg Jev reagerade med "wow, vi har en miljon användningsområden för detta." Han sa att OpenAI inte tränade en dedikerad beslutsmodell. Istället konfigurerade de om Luna för att köra snabbare och billigare. "Just nu är det bara vanliga Luna som gör jobbet," sa han.techcrunch.com

OpenAI leder inte fältet än. TechCrunch rapporterar att AIM System One Index och Artificial Analysis Decision Index tenderar att favorisera Liquids D1 Ultra och Base Labs Elephant-1. Jev rankas som nummer sju och tre på dessa index, medan OpenAIs modell rankas som nummer åtta och fjorton. TypeSafes modeller är också de mest efterfrågade på OpenRouter. Jev är dessutom billigare, med ett listat pris på 0,042 dollar per miljon inmatningstokens, men den accepterar endast text, noterade en utvecklaranalys.cellcog.ai+1

Satsar på bilder och hastighet

Handa sa att bildhantering kan ge OpenAI ett försprång. "Luna är extremt kraftfull och har visat bättre kalibreringar" för bildklassificering, sa han. Han antydde också att lägre latens kan leda till nya användningsområden. "Kan vi få ner detta till något i stil med 60 millisekunder, då kan man tänka sig ett API-anrop för varje enskild bildruta i en video?"techcrunch.com