KAIST-ի ուսումնասիրություն. AI գործակալները 136,5 անգամ ավելի շատ էներգիա են սպառում, քան չաթ-բոտերը

Հարավային Կորեայի Գիտության և տեխնոլոգիաների առաջադեմ ինստիտուտի (KAIST) առաջին նմանատիպ ուսումնասիրությունը քանակականացրել է AI գործակալների էներգետիկ ծախսերը՝ պարզելով, որ այս ինքնավար համակարգերը մեկ հարցման համար սպառում են մինչև 136,5 անգամ ավելի շատ էլեկտրաէներգիա, քան սովորական գեներատիվ AI չաթ-բոտերը. մի բաց, որը, հետազոտողների նախազգուշացմամբ, կարող է ծանրաբեռնել գլոբալ էլեկտրացանցերը, քանի որ գործակալների վրա հիմնված AI-ն դառնում է հիմնական հոսք:

Էներգետիկ բացը

Ուսումնասիրությունը, որը ղեկավարել է KAIST-ի պրոֆեսոր Ռու Մին-սուն և հրապարակվել է հանգստյան օրերին, չափել է AI գործակալների էներգիայի սպառումը՝ համակարգեր, որոնք դուրս են գալիս մեկ հարցին պատասխանելուց և ինքնուրույն պլանավորում ու կատարում են բազմաքայլ առաջադրանքներ, ինչպիսիք են բյուջեի կառավարումը կամ ճանապարհորդության ամրագրումը: Ի տարբերություն ստանդարտ չաթ-բոտի, որը մշակում է հարցումը և կանգ առնում, AI գործակալը բազմիցս անցնում է իր հիմքում ընկած լեզվական մոդելով, որոնում է համացանցում, կատարում հաշվարկներ և ինքնուրույն տալիս հրամաններ:koreatimes+1

Այդ ինքնավարությունը թանկ արժե: 70 միլիարդ պարամետր ունեցող մեծ լեզվական մոդել օգտագործելով՝ համեմատելի ներկայիս առևտրային AI ծառայությունների հետ, հետազոտողները պարզել են, որ մեկ բարդ գործակալի հարցումը սպառել է միջինը 348,41 վատտ-ժամ էլեկտրաէներգիա: Բենչմարկ թեստավորման ժամանակ Reflexion անունով գործակալային շրջանակը Meta-ի Llama-3.1-Instruct 70B-ի վրա սպառել է 136,5 անգամ ավելի շատ GPU էներգիա մեկ հարցման համար, քան ստանդարտ մեկ քայլով չաթ-բոտը, մինչդեռ LATS անունով մեկ այլ շրջանակ օգտագործել է 62,1 անգամ ավելին:letsdatascience+2

Հետազոտողները նաև պարզել են, որ գործակալի հարցումների գեներացումը մինչև 153,7 անգամ ավելի երկար է տևում, քան չաթ-բոտի պատասխանները, և որ թանկարժեք GPU չիպերը ժամանակի կեսից ավելին անգործության են մատնված՝ այրելով էլեկտրաէներգիա՝ սպասելով արտաքին գործիքների և կայքերի պատասխաններին:koreatimes

Ճնշման տակ գտնվող ցանցը

Ուսումնասիրության ամենատագնապալի կանխատեսումը վերաբերում է մասշտաբներին: Եթե AI գործակալների օգտագործումը աշխարհում հասնի օրական մոտավորապես 13,7 միլիարդ հարցման, տվյալների կենտրոնների ընդհանուր էլեկտրաէներգիայի պահանջարկը կարող է հասնել մոտավորապես 199 գիգավատի, ինչը կազմում է ամբողջ Միացյալ Նահանգների միջին էլեկտրաէներգիայի սպառման մոտավորապես կեսը:aintelligencehub+1

Այս ցուցանիշը գերազանցում է տվյալների կենտրոնների ներկայիս ծանրաբեռնվածությունը: Լոուրենս Բերկլիի ազգային լաբորատորիայի տվյալներով՝ ԱՄՆ տվյալների կենտրոնները 2023 թվականին սպառել են մոտ 176 տերավատ-ժամ, ինչը կազմում է ազգային էլեկտրաէներգիայի սպառման մոտ 4,4 տոկոսը: Էներգետիկայի միջազգային գործակալությունը կանխատեսում է, որ մինչև 2030 թվականը տվյալների կենտրոնների գլոբալ էլեկտրաէներգիայի սպառումը կկրկնապատկվի՝ հասնելով մոտ 945 տերավատ-ժամի, սակայն KAIST-ի ուսումնասիրությունը ցույց է տալիս, որ գործակալային AI աշխատանքային ծանրաբեռնվածությունը կարող է արագացնել պահանջարկը այդ կանխատեսումներից շատ ավելի հեռու:iea+1

Վերանայման կոչ

Ռուն նախազգուշացրել է, որ տեխնոլոգիական արդյունաբերությունը չի կարող ապավինել միայն ավելի խելացի ծրագրային ապահովմանը՝ խնդիրը լուծելու համար: Փոխարենը, նա կոչ է արել հիմնովին վերանայել AI մոդելները, միկրոչիպերը և տվյալների կենտրոնների էներգետիկ ենթակառուցվածքները՝ գործակալային AI-ի բերելիք աշխատանքային ծանրաբեռնվածությունը հաղթահարելու համար: Ուսումնասիրությունը հրապարակվել է այն ժամանակ, երբ խոշոր տեխնոլոգիական ընկերությունները մրցում են AI գործակալները կորպորատիվ և սպառողական հավելվածներում ներդնելու համար, ինչը նոր հարցեր է առաջացնում այն մասին, թե արդյոք էլեկտրացանցը կարող է համընթաց քայլել AI հավակնությունների հետ:koreatimes