Rannsókn KAIST: AI-umboðsmenn nota 136,5 sinnum meira rafmagn en spjallmenni

Fyrsta rannsókn sinnar tegundar frá Korea Advanced Institute of Science and Technology (KAIST) í Suður-Kóreu hefur mælt orkukostnað gervigreindarumboðsmanna og komist að því að þessi sjálfstæðu kerfi eyða allt að 136,5 sinnum meira rafmagni á hverja fyrirspurn en hefðbundin gervigreindarspjallmenni — bil sem rannsakendur vara við að gæti sett álag á raforkukerfi heimsins eftir því sem gervigreind byggð á umboðsmönnum verður almennari.

Orkubilið

Rannsóknin, sem var undir stjórn Rhu Min-soo, prófessors við KAIST, og birt um helgina, mældi orkunotkun gervigreindarumboðsmanna — kerfa sem ganga lengra en að svara einni spurningu og skipuleggja og framkvæma sjálfstætt fjölþrepa verkefni eins og að stýra fjárhagsáætlun eða bóka ferðalög. Ólíkt venjulegu spjallmenni, sem vinnur úr fyrirspurn og hættir, fer gervigreindarumboðsmaður ítrekað í gegnum undirliggjandi málalíkan sitt, leitar á netinu, framkvæmir útreikninga og gefur skipanir á eigin spýtur.koreatimes+1

Sú sjálfstæði hefur mikinn kostnað í för með sér. Með því að nota stórt málalíkan með 70 milljörðum færibreyta — sambærilegt við núverandi viðskiptalega gervigreindarþjónustu — komust rannsakendur að því að ein flókin fyrirspurn umboðsmanns eyddi að meðaltali 348,41 vöttstundum af rafmagni. Í viðmiðunarprófum eyddi umboðsmannakerfið sem kallast Reflexion á Llama-3.1-Instruct 70B frá Meta 136,5 sinnum meiri GPU-orku á hverja fyrirspurn en venjulegt spjallmenni, á meðan annað kerfi sem kallast LATS notaði 62,1 sinnum meira.letsdatascience+2

Rannsakendur komust einnig að því að það tekur allt að 153,7 sinnum lengri tíma að búa til svör frá umboðsmönnum en frá spjallmennum, og að dýrar GPU-flögur sitja aðgerðalausar meira en helming tímans, brenna rafmagni á meðan þær bíða eftir að ytri verkfæri og vefsíður svari.koreatimes

Rafkerfi undir þrýstingi

Áhyggjufyllsta spá rannsóknarinnar varðar umfang. Ef notkun gervigreindarumboðsmanna eykst í áætlaðar 13,7 milljarðar daglegra fyrirspurna um allan heim, gæti heildarorkueftirspurn gagnavera náð um 199 gígavöttum — um það bil helmingur af meðalrafmagnsnotkun allra Bandaríkjanna.aintelligencehub+1

Sú tala dvergar núverandi álag á gagnaver. Bandarísk gagnaver eyddu um 176 teravattstundum árið 2023, um það bil 4,4 prósent af innlendri rafmagnsnotkun, samkvæmt Lawrence Berkeley National Laboratory. Alþjóðaorkumálastofnunin spáir því að rafmagnsnotkun gagnavera á heimsvísu muni meira en tvöfaldast í um 945 teravattstundir fyrir árið 2030, en rannsókn KAIST bendir til þess að vinnuálag gervigreindarumboðsmanna gæti hraðað eftirspurn langt umfram þær spár.iea+1

Ákall um endurhönnun

Rhu varaði við því að tækniiðnaðurinn geti ekki treyst eingöngu á snjallari hugbúnað til að leysa vandamálið. Í staðinn kallaði hann eftir algjörri endurhönnun á gervigreindarlíkönum, örflögum og orkuinnviðum gagnavera til að takast á við vinnuálagið sem gervigreindarumboðsmenn munu skapa. Rannsóknin kemur á sama tíma og stór tæknifyrirtæki keppast við að innleiða gervigreindarumboðsmenn í fyrirtækja- og neytendaforrit, sem vekur nýjar spurningar um hvort raforkukerfið geti haldið í við metnað gervigreindarinnar.koreatimes