OpenAI löysi optimoinnin, joka puolittaa päättelykustannukset

OpenAI:n insinöörit kehittivät optimoinnin, joka leikkaa kyseisten mallien päättelykustannukset yli puoleen, vähentäen kirjautumattoman ChatGPT-liikenteen GPU-tarpeen vain muutamaan sataan, kertoo The Information.digg+1
Menetelmä parantaa olemassa olevan palvelininfrastruktuurin käyttöastetta sen sijaan, että se vaatisi uutta laitteistoa. Tämä tapahtuu tilanteessa, jossa OpenAI kulutti 3,7 miljardia dollaria pelkästään vuoden 2026 ensimmäisellä neljänneksellä.facebook+1
OpenAI ei ole kommentoinut asiaa virallisesti; läpimurto täydentää sen uutta Jalapeño-päättelysirua, joka on kehitetty yhteistyössä Broadcomin kanssa ja julkistettiin viime viikolla.finance.biggo+1

OpenAI:n insinöörit kehittivät aiemmin tässä kuussa optimoinnin, joka vähentää päättelykustannuksia yli puolella niissä malleissa, joihin sitä on sovellettu, kertoo The Information -raportti. Läpimurto, joka perustuu olemassa olevien palvelinresurssien tehokkaampaan hyödyntämiseen lisäsirujen käyttöönoton sijaan, merkitsee merkittävää edistysaskelta suurten kielimallien ajamisen taloudellisuudessa laajassa mittakaavassa.digg+1

Ohjelmistokorjaus, ei laitteistokorjaus

Kun optimointi otettiin käyttöön kirjautumattomassa ChatGPT-liikenteessä, kyseisen liikenteen pyörittämiseen tarvittavien GPU-yksiköiden määrä putosi vain muutamaan sataan, maanantaina julkaistujen tietojen mukaan. OpenAI:n insinööritiimi kertoi kollegoilleen sisäisesti, että menetelmä parantaa ensisijaisesti olemassa olevan palvelininfrastruktuurin käyttötehokkuutta. Yhtiö ei ole kommentoinut kehitystä julkisesti.odaily+2

Kustannussäästöt tulevat samaan aikaan, kun OpenAI kohtaa kasvavia laskentakustannuksia. Yhtiö kulutti 3,7 miljardia dollaria pelkästään vuoden 2026 ensimmäisellä neljänneksellä, mikä on yli puolet sen 5,7 miljardin dollarin liikevaihdosta kyseiseltä ajanjaksolta, kertoo The Information. OpenAI etsii myös laitteistoratkaisuja rinnakkain – viime viikolla yhtiö julkisti Jalapeñon, ensimmäisen kustomoidun päättelysirunsa, joka on kehitetty yhteistyössä Broadcomin kanssa ja suunniteltu tarjoamaan parempaa suorituskykyä wattia kohden kielimallisovelluksille.techcrunch+2

Koko alan kilpailu

Optimointi on osa laajempaa kilpailua tekoälyyritysten välillä, joiden tavoitteena on laskea mallien tarjoamisen kustannuksia käyttäjille. Anthropic on allekirjoittanut sopimukset useiden gigawattien seuraavan sukupolven TPU-kapasiteetista Google Alphabet Inc:n ja Broadcomin kanssa, ja kapasiteetin odotetaan tulevan käyttöön ensi vuodesta alkaen. Anthropic on myös käynyt alustavia keskusteluja lontoolaisen startup-yrityksen Fractilen kanssa erikoistuneiden päättelysirujen ostamisesta, vaikka niiden ei odoteta olevan kaupallisesti saatavilla ennen vuoden 2027 tienoilla.reddit+2

Kilpailusta päättelykustannusten alentamiseksi on tullut keskeinen huolenaihe koko alalla, ja yritysten tekoälybudjetteja hallitsevat nykyään päättelymenot. OpenAI:lle, jonka ennustetaan kuluttavan 17 miljardia dollaria käteistä vuonna 2026, mikä tahansa menetelmä, joka puolittaa satojen miljoonien käyttäjien palvelemisen kustannukset, voisi merkittävästi muuttaa sen polkua kohti kannattavuutta.economist+1

Lähteet (27)