OpenAI našla optimalizaci, která snižuje náklady na inferenci na polovinu

Inženýři OpenAI začátkem tohoto měsíce vyvinuli optimalizaci, která u modelů, na něž byla aplikována, snižuje náklady na inferenci o více než polovinu, uvádí zpráva The Information. Tento průlom, který vychází z efektivnějšího využití stávajících serverových zdrojů namísto nasazení dalších čipů, představuje významný pokrok v ekonomice provozování velkých jazykových modelů ve velkém měřítku.digg+1

Softwarová oprava, nikoliv hardwarová

Poté, co byla optimalizace aplikována na provoz ChatGPT bez přihlášení, počet GPU potřebných k napájení tohoto provozu klesl na pouhých několik stovek, uvádí pondělní zpráva. Inženýrský tým OpenAI interně informoval kolegy, že metoda primárně zlepšuje efektivitu využití stávající serverové infrastruktury. Společnost se k vývoji veřejně nevyjádřila.odaily+2

Snížení nákladů přichází v době, kdy OpenAI čelí rostoucím výdajům na výpočetní techniku. Podle The Information společnost jen v prvním čtvrtletí roku 2026 utratila 3,7 miliardy dolarů, což je více než polovina jejích příjmů ve výši 5,7 miliardy dolarů za toto období. OpenAI také paralelně hledá hardwarová řešení – minulý týden společnost představila Jalapeño, svůj první vlastní inferenční čip vyvinutý společně se společností Broadcom ↘ 5.48%, který je navržen tak, aby poskytoval lepší výkon na watt pro aplikace jazykových modelů.techcrunch+2

Závod v celém odvětví

Optimalizace je součástí širší konkurence mezi společnostmi zabývajícími se umělou inteligencí, které se snaží snížit náklady na poskytování modelů uživatelům. Společnost Anthropic podepsala dohody o kapacitě několika gigawattů TPU nové generace od společností Google Alphabet Inc. ↘ 1.45% a Broadcom, přičemž se očekává, že kapacita bude zprovozněna od příštího roku. Anthropic také vedla předběžná jednání s londýnským startupem Fractile o nákupu specializovaných inferenčních čipů, i když se neočekává, že by byly komerčně dostupné dříve než kolem roku 2027.reddit+2

Závod o snížení nákladů na inferenci se stal ústředním zájmem celého odvětví, přičemž rozpočty podniků na AI jsou nyní ovládány výdaji na inferenci. Pro OpenAI, u níž se předpokládá, že v roce 2026 vyčerpá 17 miliard dolarů v hotovosti, by jakákoli metoda, která snižuje náklady na obsluhu stovek milionů uživatelů na polovinu, mohla významně změnit její cestu k ziskovosti.economist+1