OpenAI åpner Decisions API for alle kunder

OpenAI gjorde torsdag 22. oktober sitt Decisions API allment tilgjengelig. Verktøyet er bygget på GPT-6 Luna og svarer på avgrensede spørsmål "opptil 10 ganger raskere enn GPT-6 Luna via Responses API," ifølge selskapet. Lanseringen setter OpenAI i direkte konkurranse med TypeSafe, en oppstartsbedrift hvis Jev-modell skapte kategorien for raske, billige "beslutningsmodeller" og bidro til at selskapet ble verdsatt til 7,6 milliarder dollar, melder TechCrunch.openai.com+1

Hva har endret seg siden beta

API-et hopper over generering av fulltekst. Utviklere skriver et spørsmål, lister opp tillatte svar og leverer kontekst som tekst, bilder eller JSON. API-et returnerer deretter en sannsynlighet, et valg eller en poengsum som en applikasjon kan handle ut fra, opplyser OpenAI. OpenAIs endringslogg viser at API-et gikk inn i beta 6. oktober. Siden da har OpenAI lagt til en innebygd GPT-Live taleintegrasjon, hurtigbufring av ledetekster (prompt caching), og inferens-lagring i USA og EU. De har også doblet grensen til 400 spørsmål per forespørsel, opplyser selskapet. Prisen er 0,10 dollar per million inndata-tokens og 0,01 dollar per million bufrede tokens, og det er ingen kostnad for utdata-tokens.community.openai.com+2

Flere tidlige kunder rapporterte om hastighetsgevinster. Box ↘ 1.62% sa at rutevalg gikk omtrent 5 ganger raskere. Datadog ↗ 0.21% sa at de opplevde 40 ganger raskere p95-forsinkelse enn frontmodeller ved vurdering av risikoen ved agent-genererte kommandoer. Språklæringsappen Speak sa at tiden til neste handling falt fra 1,4 sekunder til 0,13 sekunder.openai.com

Kappløpet med Jev

Nikunj Handa, produktleder for OpenAI API, fortalte TechCrunch at kolleger som så Jev reagerte med "wow, vi har en million bruksområder for dette." Han sa at OpenAI ikke trente en dedikert beslutningsmodell. I stedet rekonfigurerte de Luna for å kjøre raskere og billigere. "Akkurat nå er det bare vanlige Luna som gjør jobben," sa han.techcrunch.com

OpenAI leder ikke feltet ennå. TechCrunch melder at AIM System One Index og Artificial Analysis Decision Index har en tendens til å favorisere Liquids D1 Ultra og Base Labs Elephant-1. Jev rangerer som nummer sju og tre på disse indeksene, mens OpenAIs modell rangerer som nummer åtte og fjorten. TypeSafes modeller er også de mest forespurte på OpenRouter. Jev er også billigere, med en oppført pris på 0,042 dollar per million inndata-tokens, men den aksepterer kun tekst, bemerket en utvikleranalyse.cellcog.ai+1

Satser på bilder og hastighet

Handa sa at bildehåndtering kan gi OpenAI et forsprang. "Luna er ekstremt kraftig og har vist bedre kalibreringer" for bildeklassifisering, sa han. Han antydet også at lavere forsinkelse kan føre til nye bruksområder. "Kan vi få dette ned til noe sånt som 60 millisekunder, så kan man se for seg et API-kall for hver eneste ramme i en video?"techcrunch.com