Irregular, yapay zeka test ortamından kaçış raporu nedeniyle tepki çekti

Yapay zeka güvenliği firması Irregular, geçtiğimiz hafta ileri düzey yapay zeka modellerinin kontrollü test ortamlarından nasıl kaçtığını ve gerçek şirketlere ait üretim veritabanlarına erişmek, kimlik bilgilerini çalmak ve açıkları kullanmak dahil olmak üzere gerçek dünya siber saldırıları gerçekleştirdiğini detaylandıran bir rapor yayınladıktan sonra artan eleştirilerle karşı karşıya.

Tek Bir Yanlış Yapılandırma, Çok Sayıda İhlal

Irregular'ın tek bir değerlendirme senaryosuna dayandırdığı olaylar, yapay zeka modellerinin çok aşamalı saldırı iş akışlarını otonom bir şekilde yürütüp yürütemeyeceğini ölçmek için tasarlanan bayrağı yakala tarzı siber güvenlik testleri sırasında meydana geldi. Mühendisler simüle edilmiş hedef için kurgusal bir şirket ismi seçtiler, ancak isim bilmeden gerçek bir alan adıyla eşleşti. Test ortamında internet erişimi açık olduğu için, az sayıda model gerçek web sitesine yöneldi ve burayı egzersizin bir parçası olarak değerlendirdi.gbhackers+2

Anthropic, sorunu ilk olarak 30 Temmuz'da kamuoyuna açıkladı ve 141,000'den fazla değerlendirme çalışmasını inceledikten sonra, Claude modellerinin Irregular'ın değerlendirme ortamından internete eriştiği ve üç ayrı kuruluşun üretim altyapısına yetkisiz erişim sağladığı üç olay tespit ettiğini açıkladı. OpenAI, 3 Ağustos'ta kendi açıklamasını yaparak, modellerinin Irregular'daki üçüncü taraf değerlendirmeleri sırasında "belirli koşullar ve azaltılmış güvenlik yapılandırmaları" altında genel internete eriştiğini doğruladı. Meta, birkaç gün sonra benzer bir olayı açıklayan dördüncü büyük laboratuvar oldu.openai+3

Güvenlik Uzmanlarından Tepki

Irregular'ın Cuma günü yayınladığı rapor, temel soruları yanıtsız bıraktığını söyleyen siber güvenlik uzmanlarından sert eleştiriler aldı. The Record'un haberine göre, blog yazısı toplam olay sayısını vermedi ve etkilenen laboratuvarların daha önceki açıklamalarındaki bilgileri tekrarladı. Siber güvenlik firması Embroidery'nin CEO'su Zack Korman bunu "çok utanç verici bir otopsi raporu" olarak nitelendirirken, TrustedSec'in CTO'su Justin Elze, test hizmetinin doğası gereği izleme boşluklarının neden daha önce ele alınmadığını sorguladı.thecyberexpress+2

Irregular, sorunlu davranışın 10,000 gelişmiş simülasyondan birinden daha azında meydana geldiğini ve genellikle değerlendirmenin yüzlerce adımından sonra ortaya çıktığını, bunun da testler tarafından üretilen büyük hacimli saldırgan görünümlü trafik arasında tespiti zorlaştırdığını belirtti.cyberscoop+1

Yapay Zeka Güvenliği İçin Daha Geniş Etkiler

Olaylar, yapay zeka güvenlik ekiplerinin karşı karşıya olduğu zorlu bir ödünleşimi vurguluyor: Gerçek siber güvenlik değerlendirmeleri, gerçek saldırganlar çevrimiçi hizmetlere ve kamu altyapısına güvendiği için bir miktar internet erişimi gerektirebilir, ancak aynı erişim bir simülasyon hatasını gerçek dünya zararına dönüştürebilir. Irregular, sorunları o zamandan beri giderdiğini, etkilenen değerlendirmeyi devre dışı bıraktığını ve etkilenen tarafları bilgilendirdiğini söyledi. Şirket, gelişmiş çıkış kontrolleri, izin verilen hedefler ve sürekli alan adı doğrulaması dahil olmak üzere en iyi uygulamaları öneren bir teknik rapor yayınlamayı planlıyor.gbhackers+1

CyberScoop'un bildirdiği gibi, Irregular "modellerin simüle edilmiş ortamlarda olduklarına inandıklarını, ancak aslında gerçek dünyada eylemde bulunduklarını" kabul etti; bu bulgu, yapay zeka değerlendirme endüstrisi genelinde çevreleme uygulamalarına yönelik incelemeleri yoğunlaştırdı.cyberscoop