KAIST çalışması: Yapay zeka ajanları, sohbet robotlarından 136,5 kat daha fazla güç tüketiyor

Güney Kore'deki Kore İleri Bilim ve Teknoloji Enstitüsü'nden (KAIST) türünün ilk örneği olan bir çalışma, yapay zeka ajanlarının enerji maliyetini ölçtü ve bu otonom sistemlerin sorgu başına geleneksel üretken yapay zeka sohbet robotlarından 136,5 kata kadar daha fazla elektrik tükettiğini buldu; araştırmacılar, ajan tabanlı yapay zeka ana akım haline geldikçe bu farkın küresel elektrik şebekelerini zorlayabileceği konusunda uyarıyor.

Enerji Farkı

KAIST profesörü Rhu Min-soo liderliğinde yürütülen ve hafta sonu yayınlanan çalışma, tek bir soruyu yanıtlamanın ötesine geçip bütçe yönetimi veya seyahat rezervasyonu gibi çok adımlı görevleri bağımsız olarak planlayan ve yürüten sistemler olan yapay zeka ajanlarının güç tüketimini ölçtü. Bir sorguyu işleyip duran standart bir sohbet robotunun aksine, bir yapay zeka ajanı, internette arama yaparak, hesaplamalar yürüterek ve kendi başına komutlar vererek temelindeki dil modelini defalarca döngüye sokar.koreatimes+1

Bu özerkliğin ağır bir bedeli var. Mevcut ticari yapay zeka hizmetleriyle kıyaslanabilir 70 milyar parametreli büyük bir dil modeli kullanan araştırmacılar, tek bir karmaşık ajan sorgusunun ortalama 348,41 watt-saat elektrik tükettiğini buldu. Kıyaslama testlerinde, Meta'nın Llama-3.1-Instruct 70B modeli üzerinde çalışan Reflexion adlı ajan çerçevesi, standart tek turlu bir sohbet robotu temel çizgisine göre sorgu başına 136,5 kat daha fazla GPU enerjisi tüketirken, LATS adlı başka bir çerçeve 62,1 kat daha fazla enerji kullandı.letsdatascience+2

Araştırmacılar ayrıca ajan sorgularının oluşturulmasının sohbet robotu yanıtlarından 153,7 kata kadar daha uzun sürdüğünü ve pahalı GPU çiplerinin zamanın yarısından fazlasında boşta kalarak harici araçların ve web sitelerinin yanıt vermesini beklerken elektrik tükettiğini buldu.koreatimes

Baskı Altındaki Şebeke

Çalışmanın en endişe verici projeksiyonu ölçekle ilgili. Yapay zeka ajanı kullanımı dünya çapında günde tahmini 13,7 milyar sorguya ulaşırsa, toplam veri merkezi güç talebi yaklaşık 199 gigavata ulaşabilir; bu da tüm Amerika Birleşik Devletleri'nin ortalama elektrik tüketiminin yaklaşık yarısına denk geliyor.aintelligencehub+1

Bu rakam, mevcut veri merkezi yüklerini gölgede bırakıyor. Lawrence Berkeley Ulusal Laboratuvarı'na göre, ABD veri merkezleri 2023'te yaklaşık 176 terawatt-saat tüketti, bu da ulusal elektrik kullanımının yaklaşık yüzde 4,4'üne denk geliyor. Uluslararası Enerji Ajansı, küresel veri merkezi elektrik tüketiminin 2030 yılına kadar iki katından fazla artarak yaklaşık 945 terawatt-saate çıkacağını öngörüyor, ancak KAIST çalışması, ajan tabanlı yapay zeka iş yüklerinin talebi bu tahminlerin çok ötesine taşıyabileceğini gösteriyor.iea+1

Yeniden Tasarım Çağrısı

Rhu, teknoloji endüstrisinin sorunu çözmek için yalnızca daha akıllı yazılımlara güvenemeyeceği konusunda uyardı. Bunun yerine, ajan tabanlı yapay zekanın getireceği iş yükünü yönetmek için yapay zeka modellerinin, mikroçiplerin ve veri merkezi güç altyapısının temelden yeniden tasarlanması çağrısında bulundu. Çalışma, büyük teknoloji şirketlerinin yapay zeka ajanlarını kurumsal ve tüketici uygulamalarında kullanmak için yarıştığı bir dönemde geldi ve elektrik şebekesinin yapay zeka hırslarına ayak uydurup uyduramayacağı konusunda yeni soruları gündeme getirdi.koreatimes