OpenAI finner optimalisering som halverer inferenskostnadene

OpenAI-ingeniører utviklet tidligere denne måneden en optimalisering som reduserer inferenskostnadene med mer enn halvparten for modellene den har blitt brukt på, ifølge en rapport fra The Information. Gjennombruddet, som stammer fra å presse mer effektivitet ut av eksisterende serverressurser i stedet for å distribuere flere brikker, markerer et bemerkelsesverdig fremskritt i økonomien ved å kjøre store språkmodeller i stor skala.digg+1

En programvarefiks, ikke en maskinvarefiks

Etter at optimaliseringen ble brukt på utlogget ChatGPT-trafikk, falt antallet GPU-er som trengs for å drive denne trafikken til bare noen få hundre, ifølge rapportering som dukket opp på mandag. OpenAI sitt ingeniørteam informerte kolleger internt om at metoden primært forbedrer utnyttelseseffektiviteten til eksisterende serverinfrastruktur. Selskapet har ikke kommentert utviklingen offentlig.odaily+2

Kostnadsreduksjonen kommer samtidig som OpenAI står overfor økende beregningsutgifter. Selskapet brukte 3,7 milliarder dollar bare i første kvartal 2026, mer enn halvparten av inntektene på 5,7 milliarder dollar for perioden, ifølge The Information. OpenAI forfølger også maskinvareløsninger parallelt – forrige uke avduket selskapet Jalapeño, deres første tilpassede inferensbrikke utviklet sammen med Broadcom ↗ 4.00%, designet for å levere bedre ytelse per watt for språkmodellapplikasjoner.techcrunch+2

Et kappløp i hele bransjen

Optimaliseringen er en del av en bredere konkurranse blant AI-selskaper for å presse ned kostnadene ved å betjene modeller til brukere. Anthropic har signert avtaler for flere gigawatt med neste generasjons TPU-kapasitet fra Google Alphabet Inc. ↗ 0.84% og Broadcom, med kapasitet forventet å komme på nett fra neste år. Anthropic har også hatt innledende samtaler med den London-baserte oppstartsbedriften Fractile om kjøp av spesialiserte inferensbrikker, selv om disse ikke forventes å være kommersielt tilgjengelige før rundt 2027.reddit+2

Kappløpet for å redusere inferenskostnader har blitt en sentral bekymring i hele bransjen, med bedrifters AI-budsjetter nå dominert av inferensutgifter. For OpenAI, som er anslått å tømme 17 milliarder dollar i kontanter i 2026, kan enhver metode som halverer kostnadene ved å betjene hundrevis av millioner av brukere, meningsfullt endre veien mot lønnsomhet.economist+1