OpenAI findet Optimierung, die Inferenzkosten halbiert

OpenAI-Ingenieure haben eine Optimierung entwickelt, die die Inferenzkosten für betroffene Modelle um mehr als die Hälfte senkt und den GPU-Bedarf für den abgemeldeten ChatGPT-Verkehr auf nur wenige Hundert reduziert, so The Information.digg+1
Die Methode verbessert die Auslastung der bestehenden Serverinfrastruktur, anstatt neue Hardware zu erfordern, und kommt zu einem Zeitpunkt, an dem OpenAI allein im ersten Quartal 2026 3,7 Milliarden US-Dollar verbrannt hat.facebook+1
OpenAI hat sich offiziell nicht dazu geäußert; der Durchbruch ergänzt den neuen Jalapeño-Inferenzchip, der gemeinsam mit Broadcom entwickelt und letzte Woche vorgestellt wurde.finance.biggo+1

OpenAI-Ingenieure haben Anfang des Monats eine Optimierung entwickelt, die die Inferenzkosten für die Modelle, auf die sie angewendet wurde, um mehr als die Hälfte senkt, wie The Information berichtet. Der Durchbruch, der darauf beruht, mehr Effizienz aus bestehenden Serverressourcen herauszuholen, anstatt zusätzliche Chips einzusetzen, stellt einen bemerkenswerten Fortschritt bei der Wirtschaftlichkeit des Betriebs großer Sprachmodelle im großen Maßstab dar.digg+1

Eine Software-Lösung, keine Hardware-Lösung

Nachdem die Optimierung auf den abgemeldeten ChatGPT-Verkehr angewendet wurde, sank die Anzahl der für diesen Verkehr benötigten GPUs auf nur wenige Hundert, wie am Montag berichtet wurde. Das Ingenieurteam von OpenAI informierte Kollegen intern darüber, dass die Methode in erster Linie die Auslastungseffizienz der bestehenden Serverinfrastruktur verbessert. Das Unternehmen hat sich öffentlich nicht zu der Entwicklung geäußert.odaily+2

Die Kostensenkung erfolgt zu einem Zeitpunkt, an dem OpenAI mit steigenden Rechenkosten konfrontiert ist. Das Unternehmen verbrannte allein im ersten Quartal 2026 3,7 Milliarden US-Dollar, mehr als die Hälfte seines Umsatzes von 5,7 Milliarden US-Dollar in diesem Zeitraum, so The Information. OpenAI verfolgt parallel auch Hardware-Lösungen – letzte Woche stellte das Unternehmen Jalapeño vor, seinen ersten maßgeschneiderten Inferenzchip, der gemeinsam mit Broadcom entwickelt wurde und darauf ausgelegt ist, eine bessere Leistung pro Watt für Sprachmodellanwendungen zu liefern.techcrunch+2

Ein branchenweiter Wettlauf

Die Optimierung ist Teil eines breiteren Wettbewerbs unter KI-Unternehmen, die Kosten für die Bereitstellung von Modellen für Nutzer zu senken. Anthropic hat Verträge für mehrere Gigawatt an TPU-Kapazität der nächsten Generation von Google Alphabet Inc. und Broadcom unterzeichnet, wobei die Kapazität voraussichtlich ab nächstem Jahr online gehen wird. Anthropic hat auch erste Gespräche mit dem in London ansässigen Startup Fractile über den Kauf spezialisierter Inferenzchips geführt, obwohl diese voraussichtlich erst um 2027 kommerziell verfügbar sein werden.reddit+2

Der Wettlauf um die Senkung der Inferenzkosten ist zu einem zentralen Anliegen der gesamten Branche geworden, wobei die Budgets für Unternehmens-KI nun von Inferenzkosten dominiert werden. Für OpenAI, das voraussichtlich im Jahr 2026 17 Milliarden US-Dollar an Barmitteln verbrauchen wird, könnte jede Methode, die die Kosten für die Bedienung seiner Hunderte Millionen Nutzer halbiert, seinen Weg zur Rentabilität maßgeblich verändern.economist+1

Quellen (27)