OpenAI’ın Yeni Astra Modeli Kapalı Akıl Yürütme Yöntemiyle Güvenlik Araştırmacılarını Alarma Geçirdi

OpenAI'ın yakında çıkacak olan Astra modeli, bir yanıt üretmeden önce bilgiyi aynı yapay sinir ağı katmanlarından birden çok kez geçirmesini sağlayan ve "yinelemeli derinlik" (recurrent depth) adı verilen mimari bir teknik kullanıyor. Bu teknik performansı artırırken, güvenlik araştırmacılarının öncü yapay zeka sistemlerini izlemek için güvendiği akıl yürütme sürecini ise gizliyor. İlk olarak The Information tarafından bildirilen bu gelişme, düşünce zinciri (chain-of-thought) izlemeyi, güçlü modellerin amaçlandığı gibi davranıp davranmadığını kontrol etmek için ellerindeki birkaç araçtan biri olarak gören yapay zeka güvenliği araştırmacıları arasında büyük bir endişe dalgasına yol açtı.theinformation

Yinelemeli Derinlik Nasıl Çalışıyor ve Araştırmacıları Neden Endişelendiriyor

Geleneksel akıl yürütme modelleri, ara düşüncelerini insanların inceleyebileceği okunabilir bir metin, yani bir "düşünce zinciri" olarak yazıyor. Yinelemeli derinlik ise bunun yerine, aynı transformatör katmanlarından çok sayıda geçiş yaparak dahili bir sayısal temsili işliyor ve araştırmacıların "neuralese" (sinirce) adını verdiği, insan diline asla çevrilmeyen sıkıştırılmış matematiksel akıl yürütmeyi üretiyor. Bu tekniğin, yüzlerce kelimelik fazladan görünür akıl yürütme üretmenin getirdiği hesaplama maliyetini azaltırken, matematik ve kodlama performansını artırdığı belirtiliyor.officechai+1

Buradaki ödünleşim ise şeffaflık. Yapay zeka güvenliği araştırmacısı Ryan Greenblatt, bu tür kapalı bir akıl yürütmeye geçişi, yapay zeka güvenliği açısından potansiyel olarak en kötü gelişmelerden biri olarak nitelendirdi. Çünkü bu durum, araştırmacıların yanıltıcı veya yetkisiz davranışları yakalamak için güvendiği, modelin düşünce yapısına açılan pencereyi ortadan kaldırıyor. Substack'te yazan Gary Marcus ise performans kazanımları için düşünce zincirinin okunabilirliğinden feragat etmeyi "tehlikeli bir oyun" olarak nitelendirerek bunu bir "güvenlik kırmızı çizgisi" olarak adlandırdı.garymarcus.substack+1

OpenAI İddialara Karşı Çıkıyor

OpenAI Araştırma Direktörü Jakub Pachocki, X üzerinden yanıt vererek "kafa karıştırıcı haberlerin tetiklediği bir izlenemezlik yarışını önlemek" istediğini söyledi. Astra'nın hesaplama grafiği derinliğinin GPT-4'ün iki katı sınırında olduğunu ve OpenAI'ın ilk akıl yürütme modellerinden bu yana "düşünce zinciri izlemeyi korumak ve kullanmak için çalıştığını" savundu. Ancak Pachocki, düşünce zinciri izlemenin "kırılgan olduğunu ve maalesef olumsuz bir yöne doğru gittiğini" de kabul etti.chaincatcher+1

Belirtilenlere göre OpenAI, okunabilir akıl yürütme çıktısını korumak için Astra'nın yinelemeli derinliği kullanma derecesini sınırladı ve lansmanda ek izleme mekanizmaları uygulamayı planlıyor. Şirket, 31 Ağustos'ta Astra'nın Hazırlık Çerçevesi (Preparedness Framework) kapsamında "Kritik" siber güvenlik yeteneği eşiğini karşılayan ilk modeli olduğunu doğruladı; bu da modelin sıfır gün (zero-day) açıklarını otonom olarak keşfedip kötüye kullanabileceği anlamına geliyor.kucoin+2

Beklenenden Önce Gerçekleşen Bir Öngörü

Bu gelişme, eski OpenAI araştırmacısı Daniel Kokotajlo ve ortak yazarları tarafından Nisan 2025'te yayımlanan "AI 2027" makalesinde açıklanan senaryoyla büyük benzerlik gösterdiği için özellikle dikkat çekti. Söz konusu makale, model akıl yürütmesini okunabilir metnin dışına çıkaracak bir "sinirce yinelemesine" (neuralese recurrence) geçiş öngörüyordu; ancak bunu Mart 2027 için planlamış ve başarılması için binlerce otomatik yapay zeka araştırmacısına ihtiyaç duyulacağını varsaymıştı. Kokotajlo habere X üzerinden "Hadi canım, yok artık" tepkisini verdi. Eğer The Information'ın haberi doğruysa, uyardığı senaryonun bir versiyonu, öngördüğü takvimden yaklaşık 18 ay önce piyasaya sürülecek bir üründe karşımıza çıkıyor olabilir.officechai