OpenAI avasi nopean päätöksentekorajapinnan kaikille asiakkaille

OpenAI toi Decisions API -rajapintansa yleiseen käyttöön torstaina 22. lokakuuta. Työkalu perustuu GPT-6 Luna -malliin ja vastaa rajattuihin kysymyksiin "jopa 10 kertaa nopeammin kuin GPT-6 Luna Responses API:n kautta", yhtiö kertoo. Julkaisu asettaa OpenAI:n suoraan kilpailuun TypeSafen kanssa, jonka Jev-malli loi nopeiden ja edullisten "päätöksentekomallien" kategorian ja auttoi nostamaan yhtiön arvon 7,6 miljardiin dollariin, TechCrunch raportoi.openai.com+1

Mitä muuttui beta-vaiheen jälkeen

Rajapinta ohittaa kokotekstin tuottamisen. Kehittäjät kirjoittavat kysymyksen, listaavat sallitut vastaukset ja toimittavat kontekstin tekstinä, kuvina tai JSON-muodossa. OpenAI:n mukaan rajapinta palauttaa sitten todennäköisyyden, valinnan tai pisteytyksen, jonka perusteella sovellus voi toimia. OpenAI:n muutosloki osoittaa, että rajapinta siirtyi beta-vaiheeseen 6. lokakuuta. Sen jälkeen OpenAI on lisännyt natiivin GPT-Live-äänitoiminnon, kehotteiden välimuistin (prompt caching) sekä päättelyresidenssin Yhdysvalloissa ja EU:ssa. Yhtiön mukaan se myös kaksinkertaisti kyselyrajan 400 kysymykseen pyyntöä kohden. Hinnoittelu on 0,10 dollaria miljoonaa syötetokenia kohden ja 0,01 dollaria miljoonaa välimuistitokenia kohden, eikä tulostokeneista peritä maksua.community.openai.com+2

Useat varhaiset asiakkaat raportoivat nopeushyödyistä. Box ↘ 1.62% kertoi reitinvalinnan olleen noin 5 kertaa nopeampaa. Datadog ↗ 0.21% ilmoitti havainneensa 40 kertaa nopeamman p95-latenssin verrattuna muihin malleihin arvioidessaan agenttien luomien komentojen riskejä. Kieltenopiskelusovellus Speak kertoi seuraavaan toimintoon kuluvan ajan laskeneen 1,4 sekunnista 0,13 sekuntiin.openai.com

Kilpailu Jev-mallin kanssa

OpenAI:n API-tuotejohtaja Nikunj Handa kertoi TechCrunchille, että kollegat, jotka näkivät Jev-mallin, reagoivat: "vau, meillä on miljoona käyttötapausta tälle". Hän sanoi, ettei OpenAI kouluttanut erillistä päätöksentekomallia. Sen sijaan se konfiguroi Lunan toimimaan nopeammin ja halvemmin. "Tällä hetkellä se on vain tavallinen vanha Luna, joka hoitaa työn", hän sanoi.techcrunch.com

OpenAI ei vielä johda alaa. TechCrunch raportoi, että AIM System One Index ja Artificial Analysis Decision Index suosivat yleensä Liquidin D1 Ultraa ja Base Labin Elephant-1:tä. Jev sijoittuu näissä indekseissä seitsemänneksi ja kolmanneksi, kun taas OpenAI:n malli on kahdeksas ja neljästoista. TypeSafen mallit ovat myös haetuimpia OpenRouterissa. Jev on myös halvempi, listahinnalla 0,042 dollaria miljoonaa syötetokenia kohden, mutta se hyväksyy vain tekstiä, eräs kehittäjäanalyysi huomautti.cellcog.ai+1

Panostus kuviin ja nopeuteen

Handa sanoi, että kuvien käsittely voisi antaa OpenAI:lle etulyöntiaseman. "Luna on erittäin tehokas ja on osoittanut parempaa kalibrointia" kuvien luokittelussa, hän sanoi. Hän vihjasi myös, että pienempi latenssi voisi johtaa uusiin käyttötapoihin. "Voimmeko saada tämän noin 60 millisekuntiin, jolloin voisi kuvitella API-kutsun jokaiselle videon ruudulle?"techcrunch.com