KAIST-studie: AI-agenter bruker 136,5 ganger mer strøm enn chatroboter

En første-av-sitt-slag-studie fra Sør-Koreas Korea Advanced Institute of Science and Technology har kvantifisert energikostnaden for AI-agenter, og funnet at disse autonome systemene bruker opptil 136,5 ganger mer strøm per forespørsel enn konvensjonelle generative AI-chatroboter – et gap som forskere advarer om kan belaste globale strømnett når agentbasert AI blir allemannseie.

Energigapet

Studien, ledet av KAIST-professor Rhu Min-soo og publisert i helgen, målte strømforbruket til AI-agenter – systemer som går utover å svare på et enkelt spørsmål for å uavhengig planlegge og utføre oppgaver i flere trinn, som å administrere et budsjett eller bestille reiser. I motsetning til en standard chatrobot, som behandler en forespørsel og stopper, går en AI-agent gjentatte ganger gjennom sin underliggende språkmodell, søker på nettet, kjører beregninger og utsteder kommandoer på egen hånd.koreatimes+1

Denne autonomien har en høy pris. Ved bruk av en stor språkmodell med 70 milliarder parametere – sammenlignbar med nåværende kommersielle AI-tjenester – fant forskerne at en enkelt kompleks agent-forespørsel brukte i gjennomsnitt 348,41 watt-timer med strøm. I benchmark-testing brukte agentrammeverket kjent som Reflexion på Metas Llama-3.1-Instruct 70B 136,5 ganger mer GPU-energi per forespørsel enn en standard chatrobot-baseline, mens et annet rammeverk kalt LATS brukte 62,1 ganger mer.letsdatascience+2

Forskerne fant også at agent-forespørsler tar opptil 153,7 ganger lengre tid å generere enn chatrobot-svar, og at dyre GPU-brikker står ubrukt mer enn halve tiden, mens de brenner strøm mens de venter på at eksterne verktøy og nettsteder skal svare.koreatimes

Et strømnett under press

Studiens mest alarmerende anslag gjelder skala. Hvis bruken av AI-agenter vokser til anslagsvis 13,7 milliarder daglige forespørsler over hele verden, kan det totale strømbehovet for datasentre nå omtrent 199 gigawatt – omtrent halvparten av det gjennomsnittlige strømforbruket i hele USA.aintelligencehub+1

Det tallet overgår dagens datasenterbelastninger. Amerikanske datasentre brukte omtrent 176 terawatt-timer i 2023, omtrent 4,4 prosent av nasjonalt strømforbruk, ifølge Lawrence Berkeley National Laboratory. Det internasjonale energibyrået anslår at det globale strømforbruket for datasentre vil mer enn dobles til rundt 945 terawatt-timer innen 2030, men KAIST-studien antyder at agentbaserte AI-arbeidsbelastninger kan akselerere etterspørselen langt utover disse prognosene.iea+1

Et kall for redesign

Rhu advarte om at teknologibransjen ikke kan stole utelukkende på smartere programvare for å løse problemet. I stedet etterlyste han en total redesign av AI-modeller, mikrobrikker og strøminfrastruktur for datasentre for å håndtere arbeidsbelastningen som agentbasert AI vil påføre. Studien kommer samtidig som store teknologiselskaper kappes om å distribuere AI-agenter på tvers av bedrifts- og forbrukerapplikasjoner, noe som reiser nye spørsmål om hvorvidt strømnettet kan holde tritt med AI-ambisjonene.koreatimes