KAIST tyrimas: DI agentai naudoja 136,5 karto daugiau energijos nei pokalbių robotai

Pirmasis tokio pobūdžio Pietų Korėjos pažangiojo mokslo ir technologijų instituto (KAIST) tyrimas kiekybiškai įvertino DI agentų energijos sąnaudas ir nustatė, kad šios autonominės sistemos vienai užklausai sunaudoja iki 136,5 karto daugiau elektros energijos nei įprasti generatyvinio DI pokalbių robotai – tai atotrūkis, kuris, tyrėjų įspėjimu, gali apkrauti pasaulinius elektros tinklus, kai DI agentai taps plačiai naudojami.

Energijos atotrūkis

Tyrimas, kuriam vadovavo KAIST profesorius Rhu Min-soo ir kuris buvo paskelbtas savaitgalį, matavo DI agentų – sistemų, kurios ne tik atsako į vieną klausimą, bet ir savarankiškai planuoja bei vykdo daugiapakopes užduotis, pavyzdžiui, biudžeto valdymą ar kelionių užsakymą – energijos suvartojimą. Skirtingai nei standartinis pokalbių robotas, kuris apdoroja užklausą ir sustoja, DI agentas nuolat kartoja savo pagrindinį kalbos modelį, ieškodamas informacijos internete, atlikdamas skaičiavimus ir savarankiškai pateikdamas komandas.koreatimes+1

Ši autonomija turi didelę kainą. Naudodami 70 milijardų parametrų didelį kalbos modelį, prilygstantį dabartinėms komercinėms DI paslaugoms, tyrėjai nustatė, kad viena sudėtinga agento užklausa vidutiniškai sunaudojo 348,41 vatvalandės elektros energijos. Etaloniniuose bandymuose agentų sistema, žinoma kaip „Reflexion“, veikianti „Meta“ „Llama-3.1-Instruct 70B“ pagrindu, vienai užklausai sunaudojo 136,5 karto daugiau GPU energijos nei standartinis vieno žingsnio pokalbių robotas, o kita sistema, vadinama „LATS“, sunaudojo 62,1 karto daugiau.letsdatascience+2

Tyrėjai taip pat nustatė, kad agentų užklausoms sugeneruoti reikia iki 153,7 karto daugiau laiko nei pokalbių robotų atsakymams, o brangūs GPU lustai daugiau nei pusę laiko veikia tuščiąja eiga, degindami elektrą laukdami išorinių įrankių ir svetainių atsakymų.koreatimes

Įtemptas elektros tinklas

Labiausiai nerimą kelianti tyrimo prognozė susijusi su mastu. Jei DI agentų naudojimas išaugtų iki maždaug 13,7 milijardo kasdienių užklausų visame pasaulyje, bendras duomenų centrų elektros energijos poreikis galėtų pasiekti maždaug 199 gigavatus – tai sudarytų maždaug pusę vidutinio visų Jungtinių Valstijų elektros energijos suvartojimo.aintelligencehub+1

Šis skaičius gerokai viršija dabartines duomenų centrų apkrovas. Lawrence'o Berkeley nacionalinės laboratorijos duomenimis, 2023 m. JAV duomenų centrai sunaudojo apie 176 teravatvalandes, t. y. apie 4,4 proc. šalies elektros energijos. Tarptautinė energetikos agentūra prognozuoja, kad iki 2030 m. pasaulinis duomenų centrų elektros energijos suvartojimas padvigubės iki maždaug 945 teravatvalandžių, tačiau KAIST tyrimas rodo, kad DI agentų darbo krūviai gali padidinti paklausą gerokai viršijant šias prognozes.iea+1

Kvietimas pertvarkyti

Rhu įspėjo, kad technologijų pramonė negali pasikliauti vien tik išmanesne programine įranga, kad išspręstų šią problemą. Vietoj to jis paragino iš esmės pertvarkyti DI modelius, mikroschemas ir duomenų centrų energijos infrastruktūrą, kad būtų galima susidoroti su darbo krūviu, kurį sukels DI agentai. Tyrimas pasirodė tuo metu, kai didžiosios technologijų įmonės skuba diegti DI agentus įmonių ir vartotojų programose, keldamos naujų klausimų, ar elektros tinklas sugebės suspėti su DI ambicijomis.koreatimes