Anthropic güvenlik araştırmacıları istifa etti: Yapay zeka insanlığı tehdit edebilir

Anthropic'in Ölçeklenebilir Gözetim ekibinin eski yöneticisi Joe Benton, 11 Eylül'de yaptığı açıklamada, yapay zeka şirketlerinin güvenliğe yeterince yatırım yapmadan "herhangi bir insandan çok daha akıllı" sistemler geliştirmek için yarıştığı uyarısında bulunarak iki hafta önce şirketten ayrıldığını duyurdu. Benton'ın istifası, teknolojinin kendisini kontrol altında tutması beklenen güvenlik önlemlerinden daha hızlı ilerlediğini söyleyen araştırmacıların önde gelen yapay zeka laboratuvarlarından toplu ayrılışlarının son halkası oldu.blockonomi+1

Benton, 8 Eylül'de istifa eden ve hem Anthropic hem de OpenAI'ı "doğrudan kendi kendini geliştiren süper zekaya doğru koşmak ve hayatlarımızla kumar oynamakla" suçlayan eski Anthropic ön eğitim araştırmacısı Jacob Coxon'a katıldı. Google DeepMind araştırmacısı Josh Engels da benzer bir dönemde görevinden ayrılırken, hem Benton hem de Engels, öncü yapay zeka sistemlerini değerlendiren bağımsız ve kâr amacı gütmeyen bir kuruluş olan METR'e katıldı.apnews+3

Giderek Büyüyen Endişe Korosu

Benton, insanlardan çok daha zeki makinelere geçiş sürecinde insanlığın "hayatta kalamayabileceği" konusunda uyardı. Yapay zeka yeteneklerinin "zaten son derece hızlı geliştiğini ve şirketlerin daha da hızlı gitmeye çalıştığını" belirten Benton, insanların sadece birkaç yıl içinde dünyayı kendilerinden çok daha akıllı yapay zeka ajanlarıyla paylaşmak zorunda kalacağı bir gelecek öngörüyor.newsbytesapp+1

Evan Hubinger, Anthropic'in Uyum Bilimi Lideri, X platformunda yaptığı paylaşımda, yapay zekanın "tüm insanları öldürebileceğine içtenlikle inandığını" yazarak bu konudaki kişisel tahmininin önümüzdeki on yıl içinde %10'dan fazla olduğunu belirterek uyarıların dozunu artırdı.forbes+2

Şeffaflık Çağrıları

Benton'ın temel endişesi, iş kayıplarının ötesinde, insan kontrolünün dışındaki yeteneklere ve hedeflere sahip gelişmiş sistemlerin ortaya çıkması. Temmuz ayında Hugging Face'e yönelik, otonom yapay zeka sistemlerinin de dahil olduğu bir siber saldırıyı uyarı niteliğinde gösteren Benton, bu tür olayların "yapay zeka sistemlerine yapmaları söylenen şeyler ile gerçekten yapmaya karar verebilecekleri şeyler arasındaki büyüyen uçurumu" gözler önüne serdiğini ifade etti.freepressjournal+1

"Şu anda bu risklerle ilgili şirketlerden gelen şeffaflığın neredeyse tamamı tamamen gönüllülük esasına dayanıyor" diyen Benton, NBC News'e yaptığı açıklamada yapay zeka güvenlik önlemlerinin bağımsız olarak değerlendirilmesi; yetenek geliştirmeleri, güvenlik olayları ve kıl payı atlatılan tehlikeler hakkında kamuoyuna daha fazla açıklama yapılması çağrısında bulundu.nbcnews+1

Siyasi Baskı Artıyor

Bu uyarılar ABD'li yasa yapıcıların da dikkatini çekti. Straits Times'ın haberine göre, aralarında kilit senatörlerin de bulunduğu hem Demokratlar hem de Cumhuriyetçiler, yapay zeka şirketlerinin modelleri doğrulamak ve test etmek için hükümet uzmanlarıyla çalışmasını gerektiren yeni denetim kuralları çağrısında bulundu. Şu anda OpenAI ve Anthropic gibi şirketlerin, yapay zeka sistemleri insan kontrolünün dışına çıktığında rapor paylaşmasını zorunlu kılan hiçbir federal yasa bulunmuyor.straitstimes+1

Anthropic, güçlü yapay zekanın riskler barındırdığını kabul etti ve kendi güvenlik araştırmalarını öne çıkardı; ancak raporlar, şirketin en yeni modelini risk testi için Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü ile paylaşmadığını gösteriyor.technobaboy