Goodfire araştırmacısı sinir ağlarının yorumlanabilir olduğunu savunuyor

Yapay zeka yorumlanabilirlik laboratuvarı Goodfire'da araştırmacı olan Nick Cammarata, 15 Ekim'de yayınlanan bir makalede sinir ağlarının alanın varsaydığından çok daha kolay okunabildiğini savunuyor. Cammarata, alanın "süperpozisyon" için en bilinen kanıtlarının yanlış okunduğunu söylüyor. Makale, yorumlanabilirliğin bir atılıma yakın olup olmadığı konusunda araştırmacıları ikiye böldü. Cammarata iddiasını "bir çalışma hipotezi" olarak adlandırıyor. Makaleye göre, dil modeli nöronları üzerine teknik bir tamamlayıcı makale henüz yayınlanmadıbraindetox.kr.

Temel iddia

Süperpozisyon teorisine göre, nöron sıkıntısı çeken bir ağ, birbiriyle ilgisiz kavramları aynı nöronlara paketler. Araştırmacıların bunları incelemeden önce ayırmak için seyrek bir otokodlayıcı gibi ikinci bir modele ihtiyacı olurdu. Cammarata ise karışık görünen nöronların çoğunun "özyinelemeli genelleştirme" dediği şeyden kaynaklandığını savunuyor. Bir nöron, bir dalın alt dallar geliştirmesi gibi, ana işiyle ilgili yan dallar geliştirir. Örneği, "iy" tespit etmekten "diy"e ve oradan "do it yourself"e geçen bir nöron. Cammarata, "Artık süperpozisyonu boş hipotez haline getirdiğimi düşünüyorum, oysa en radikal ve en az test edilebilir olduğu için son hipotez olmalıydı" diye yazıyoralready-clean.goodfire.com.

Makale ayrıca Cammarata'nın kendi yaptığı çalışmaları da yeniden ele alıyor. InceptionV1 görüntü modelindeki ünlü "kedi ve araba" nöronunun aslında sivri V şekilleri için bir dedektör olduğunu söylüyor. Ayrıca 2020'de tanımladığı arabadan köpeğe süperpozisyon devresinin bir hata olduğunu belirtiyorthe-decoder.de.

Rakamlar

Cammarata, InceptionV1'i aynı verilerle eğitilmiş aynı boyuttaki bir ConvNeXt modeliyle karşılaştırdı. ConvNeXt modelinin son katmanındaki nöronların yaklaşık %99'unun kolayca yorumlanabilir olduğunu bildiriyor. InceptionV1'de bu rakam o dönemin araçlarıyla yaklaşık %5, günümüz araçlarıyla ise yaklaşık %50 idi. Dil modelleri için, "Qwen3-32B'nin ön denetimlerinde, nöron kutuplarının yaklaşık %90'ının tek bir ana görevi olduğunu tahmin ediyoruz" diye yazıyor. Diğer %7'sinin iki ilgili işi var ve %2 ila %4'ü henüz anlaşılmış değilalready-clean.goodfire.com.

Eşiklerin nereye ayarlandığına bağlı olarak rakamların değişebileceği konusunda uyarıyor. Neredeyse her şeyin sıradan genelleştirmeden kaynaklandığından "belki %85 emin" olduğunu söylüyor. Çalışma, nöronların ne yaptığının açıklamasını yazan ve ardından bunları test eden yapay zeka ajanlarına dayanıyordu ve ajanlar, bilginin bir model içinde nasıl hareket ettiğini izleyen 100.000 atıf grafiğini inceledi. Karşılaştırma yapmak gerekirse, 2023'teki otomatik bir OpenAI projesi, en cömert ölçümüyle bile nöronların sadece yaklaşık %1.7'sinin anlaşılabilir olduğunu bulmuştuthe-decoder.de+1.

Bölünmüş bir tepki

Bazı insanlar makaleyi memnuniyetle karşıladı. Latent Space'in AINews bülteni makaleyi "Ajanlar Polisemantizmi çürütüyor" başlığıyla yayınladı. Diğerleri ise daha temkinliydilatent.space.

Google DeepMind'da mekanik yorumlanabilirliğe liderlik eden Neel Nanda, çalışmayı ilginç bulduğunu ancak büyük resmi değiştirmediğini söyledi. Dil modellerinin sahip oldukları nöronlardan çok daha fazla gerçek saklaması nedeniyle süperpozisyonun gerçek olduğuna hala inanıyor ve zayıf aktivasyonların bu ezberlenmiş gerçeklerin çoğunu taşıdığını düşünüyor. Küçük görüntü modellerinden elde edilen bulguların dil modellerine aktarılmasından şüphe duyuyor ve makalenin monosemantizmi çok cömert tanımladığını savunuyor. Ayrıca nöron tabanlı analizin ciddi hatalar yapmasını ve çok şeyi gözden kaçırmasını bekliyorthe-decoder.de+1.

İkili tek bir noktada hemfikir: modeller, sahip oldukları boyutlardan daha fazla kavramı temsil edebilir. Cammarata sadece ağların tamamen ilgisiz şeyleri rastgele bir araya getirdiği fikrine karşı çıkıyor. Bağımsız gruplar henüz sonuçlarını doğrulamadıthe-decoder.de.