OpenAI hittar optimering som halverar inferenskostnaderna

OpenAI-ingenjörer utvecklade tidigare denna månad en optimering som minskar inferenskostnaderna med mer än hälften för de modeller den har tillämpats på, enligt en rapport från The Information. Genombrottet, som bygger på att pressa ut mer effektivitet ur befintliga serverresurser istället för att distribuera ytterligare chip, markerar ett anmärkningsvärt framsteg i ekonomin kring att köra stora språkmodeller i stor skala.digg+1

En mjukvarufix, inte en hårdvarufix

Efter att optimeringen tillämpades på utloggad ChatGPT-trafik sjönk antalet GPU:er som behövs för att driva trafiken till bara några hundra, enligt rapportering som kom fram i måndags. OpenAI:s ingenjörsteam informerade kollegor internt om att metoden främst förbättrar utnyttjandegraden av befintlig serverinfrastruktur. Företaget har inte kommenterat utvecklingen offentligt.odaily+2

Kostnadsminskningen kommer samtidigt som OpenAI står inför ökande beräkningskostnader. Företaget förbrukade 3,7 miljarder dollar bara under första kvartalet 2026, mer än hälften av dess intäkter på 5,7 miljarder dollar för perioden, enligt The Information. OpenAI arbetar även parallellt med hårdvarulösningar – förra veckan presenterade företaget Jalapeño, deras första anpassade inferenschip utvecklat tillsammans med Broadcom ↘ 2.41%, utformat för att leverera bättre prestanda per watt för språkmodellapplikationer.techcrunch+2

Ett kapplöpning i hela branschen

Optimeringen ingår i en bredare konkurrens bland AI-företag för att pressa ner kostnaderna för att tillhandahålla modeller till användare. Anthropic har tecknat avtal för flera gigawatt av nästa generations TPU-kapacitet från Google Alphabet Inc. ↘ 0.48% och Broadcom, med kapacitet som förväntas tas i drift från och med nästa år. Anthropic har även fört inledande samtal med den London-baserade startupen Fractile om inköp av specialiserade inferenschip, även om dessa inte förväntas vara kommersiellt tillgängliga förrän omkring 2027.reddit+2

Kapplöpningen för att minska inferenskostnaderna har blivit en central fråga i hela branschen, där företags AI-budgetar nu domineras av inferensutgifter. För OpenAI, som beräknas göra av med 17 miljarder dollar i kontanter under 2026, skulle varje metod som halverar kostnaderna för att betjäna hundratals miljoner användare kunna förändra vägen mot lönsamhet på ett betydande sätt.economist+1