„OpenAI“ rado optimizavimo būdą, kuris perpus sumažina išlaidas išvadoms

„The Information“ pranešimu, „OpenAI“ inžinieriai anksčiau šį mėnesį sukūrė optimizavimo būdą, kuris daugiau nei perpus sumažina išlaidas išvadoms modeliams, kuriems jis buvo pritaikytas. Šis proveržis, pasiektas efektyviau išnaudojant esamus serverių išteklius, o ne diegiant papildomus lustus, žymi reikšmingą pažangą didelio masto kalbos modelių eksploatavimo ekonomikoje.digg+1

Programinės įrangos pataisa, o ne aparatinės

Po to, kai optimizavimas buvo pritaikytas neprisijungusių „ChatGPT“ vartotojų srautui, GPU skaičius, reikalingas šiam srautui aptarnauti, sumažėjo iki vos kelių šimtų, rodo pirmadienį pasirodžiusi informacija. „OpenAI“ inžinierių komanda viduje informavo kolegas, kad šis metodas pirmiausia pagerina esamos serverių infrastruktūros panaudojimo efektyvumą. Bendrovė viešai šio pokyčio nekomentavo.odaily+2

Išlaidų mažinimas vyksta „OpenAI“ susiduriant su augančiomis skaičiavimo sąnaudomis. „The Information“ duomenimis, bendrovė vien per 2026 m. pirmąjį ketvirtį išleido 3,7 mlrd. JAV dolerių, t. y. daugiau nei pusę savo 5,7 mlrd. JAV dolerių pajamų per tą laikotarpį. „OpenAI“ taip pat lygiagrečiai ieško aparatinės įrangos sprendimų – praėjusią savaitę bendrovė pristatė „Jalapeño“, savo pirmąjį specializuotą išvadų lustą, sukurtą kartu su „Broadcom“ ↗ 3.07%, skirtą užtikrinti geresnį našumą vienam vatui kalbos modelių programoms.techcrunch+2

Visos pramonės lenktynės

Šis optimizavimas yra platesnės dirbtinio intelekto bendrovių konkurencijos dalis, siekiant sumažinti modelių aptarnavimo vartotojams kainą. „Anthropic“ pasirašė sutartis dėl kelių gigavatų naujos kartos TPU pajėgumų iš „Google Alphabet Inc.“ ↗ 0.08% ir „Broadcom“, o pajėgumai turėtų pradėti veikti nuo kitų metų. „Anthropic“ taip pat vedė pirmines derybas su Londone įsikūrusia startuolių įmone „Fractile“ dėl specializuotų išvadų lustų pirkimo, nors tikimasi, kad jie komerciškai bus prieinami tik apie 2027 metus.reddit+2

Lenktynės dėl išvadų kaštų mažinimo tapo pagrindiniu rūpesčiu visoje pramonėje, o įmonių dirbtinio intelekto biudžetuose dabar dominuoja išlaidos išvadoms. „OpenAI“, kurios 2026 m. planuojamos grynųjų pinigų sąnaudos siekia 17 mlrd. JAV dolerių, bet koks metodas, perpus sumažinantis šimtų milijonų vartotojų aptarnavimo kaštus, galėtų reikšmingai pakeisti jos kelią į pelningumą.economist+1