Goodfire-ის მკვლევარი ამტკიცებს, რომ ნეირონული ქსელები ინტერპრეტირებადია

ნიკ კამარატა, AI-ის ინტერპრეტირებადობის ლაბორატორია Goodfire-ის მკვლევარი, 15 ოქტომბერს გამოქვეყნებულ ესეში ამტკიცებს, რომ ნეირონული ქსელების წაკითხვა ბევრად უფრო ადვილია, ვიდრე დარგში აქამდე მიიჩნევდნენ. მისი თქმით, "სუპერპოზიციის" შესახებ არსებული ყველაზე ცნობილი მტკიცებულებები არასწორად იქნა ინტერპრეტირებული. ესემ მკვლევრებს შორის აზრთა სხვადასხვაობა გამოიწვია იმის შესახებ, მიუახლოვდა თუ არა დარგი გარღვევას. კამარატა თავის მოსაზრებას "სამუშაო ჰიპოთეზას" უწოდებს. ესეს თანახმად, ენობრივი მოდელების ნეირონების შესახებ ტექნიკური დამხმარე ნაშრომი ჯერ არ გამოქვეყნებულაbraindetox.kr.

ძირითადი მოსაზრება

სუპერპოზიციის თეორიის მიხედვით, ქსელი, რომელსაც ნეირონები არ ჰყოფნის, ერთმანეთთან დაუკავშირებელ ცნებებს ერთსა და იმავე ნეირონებში ათავსებს. მკვლევრებს ამის შესასწავლად მეორე მოდელი, მაგალითად, იშვიათი ავტოენკოდერი (sparse autoencoder) სჭირდებათ. კამარატა კი ამტკიცებს, რომ შერეული ტიპის ნეირონების უმეტესობა წარმოიქმნება იმისგან, რასაც ის "რეკურსიულ განზოგადებას" უწოდებს. ნეირონი ავითარებს შტოებს, რომლებიც მის მთავარ ფუნქციას უკავშირდება, ისევე როგორც ტოტი ავითარებს პატარა ტოტებს. მისი მაგალითია ნეირონი, რომელიც "iy"-ს ამოცნობიდან "diy"-ზე და შემდეგ "do it yourself"-ზე გადავიდა. "ახლა ვფიქრობ, რომ სუპერპოზიცია ნულოვან ჰიპოთეზად ვაქციე, მაშინ როცა ის ბოლო ჰიპოთეზა უნდა ყოფილიყო, რადგან ის ყველაზე რადიკალური და ყველაზე ნაკლებად შესამოწმებელია", წერს ისalready-clean.goodfire.com.

ესე ასევე გადახედავს კამარატას მიერ ადრე ჩატარებულ სამუშაოს. ის ამბობს, რომ ცნობილი "კატისა და მანქანის" ნეირონი InceptionV1 გამოსახულების მოდელში სინამდვილეში წვეტიანი V-ფორმების დეტექტორია. ის ასევე აღიარებს, რომ მანქანიდან ძაღლზე გადასვლის სუპერპოზიციის სქემა, რომელიც 2020 წელს იდენტიფიცირა, შეცდომა იყოthe-decoder.de.

ციფრები

კამარატამ შეადარა InceptionV1 და ConvNeXt მოდელი, რომლებიც იმავე ზომისაა და იმავე მონაცემებზეა გაწვრთნილი. მისი თქმით, ConvNeXt მოდელის ბოლო ფენის ნეირონების დაახლოებით 99% ადვილად ინტერპრეტირებადი იყო. InceptionV1-ში ეს მაჩვენებელი იმ დროის ხელსაწყოებით დაახლოებით 5%-ს, ხოლო დღევანდელი ხელსაწყოებით დაახლოებით 50%-ს შეადგენდა. ენობრივი მოდელებისთვის ის წერს: "Qwen3-32B-ის წინასწარი აუდიტისას ჩვენ დავადგინეთ, რომ ნეირონების პოლუსების დაახლოებით 90%-ს ერთი მთავარი ფუნქცია აქვს". კიდევ 7%-ს აქვს ორი დაკავშირებული ფუნქცია, ხოლო 2%-დან 4%-მდე ჯერ კიდევ გაუგებარიაalready-clean.goodfire.com.

ის აფრთხილებს, რომ ციფრები დამოკიდებულია იმაზე, თუ სად არის დადგენილი ზღვრები. ის ამბობს, რომ "დაახლოებით 85%-ით დარწმუნებულია", რომ თითქმის ყველაფერი ჩვეულებრივი განზოგადების შედეგია. კვლევა ეყრდნობოდა AI აგენტებს, რომლებიც წერენ განმარტებებს ნეირონების ფუნქციების შესახებ და შემდეგ ამოწმებენ მათ. აგენტებმა განიხილეს 100,000 ატრიბუციის გრაფიკი, რომლებიც აკვირდებიან, როგორ მოძრაობს ინფორმაცია მოდელში. შედარებისთვის, OpenAI-ის ავტომატიზებულმა პროექტმა 2023 წელს ნეირონების მხოლოდ 1,7% აღმოაჩინა გასაგებად, ყველაზე ოპტიმისტური შეფასებითაც კიthe-decoder.de+1.

გაყოფილი რეაქცია

ზოგმა ესე დადებითად მიიღო. Latent Space-ის AINews ნიუსლეტერმა ის გამოაქვეყნა სათაურით "აგენტები უარყოფენ პოლისემანტიურობას". სხვები უფრო ფრთხილები იყვნენlatent.space.

ნილ ნანდამ, რომელიც Google DeepMind-ში მექანიკური ინტერპრეტირებადობის მიმართულებას ხელმძღვანელობს, ნაშრომს საინტერესო უწოდა, თუმცა აღნიშნა, რომ ის დიდ სურათს არ ცვლის. მას კვლავ სჯერა, რომ სუპერპოზიცია რეალურია, ნაწილობრივ იმიტომ, რომ ენობრივი მოდელები ბევრად მეტ ფაქტს ინახავენ, ვიდრე ნეირონები აქვთ, და ფიქრობს, რომ სუსტი აქტივაციები სწორედ ამ დამახსოვრებულ ფაქტებს ატარებს. ის ეჭვქვეშ აყენებს, რომ მცირე ზომის გამოსახულების მოდელების შედეგები ენობრივ მოდელებზე გადავიდეს და ამტკიცებს, რომ ესე მონოსემანტიურობას ზედმეტად გულუხვად განსაზღვრავს. ის ასევე ელოდება, რომ ნეირონებზე დაფუძნებული ანალიზი სერიოზულ შეცდომებს დაუშვებს და ბევრ რამეს გამოტოვებსthe-decoder.de+1.

ორივე მხარე ერთ საკითხში თანხმდება: მოდელებს შეუძლიათ წარმოადგინონ უფრო მეტი ცნება, ვიდრე განზომილება აქვთ. კამარატა მხოლოდ იმ იდეას ეწინააღმდეგება, რომ ქსელები შემთხვევით ათავსებენ ერთმანეთთან სრულიად დაუკავშირებელ ნივთებს. დამოუკიდებელ ჯგუფებს მისი შედეგები ჯერ არ დაუდასტურებიათthe-decoder.de.