„Goodfire“ tyrėjas teigia, kad neuroninius tinklus galima suprasti

Nick Cammarata, dirbantis DI interpretuojamumo laboratorijoje „Goodfire“, spalio 15 d. paskelbtame esė teigia, kad neuroniniai tinklai yra daug lengviau suprantami, nei buvo manoma iki šiol. Jis nurodo, kad geriausiai žinomi „superpozicijos“ įrodymai buvo neteisingai interpretuoti. Šis esė sukėlė diskusijas tarp tyrėjų, ar interpretuojamumo srityje artėja proveržis. Cammarata savo teiginį vadina „darbo hipoteze“. Pasak esė, techninis papildomas dokumentas apie kalbos modelių neuronus dar nėra paskelbtasbraindetox.kr.

Pagrindinis teiginys

Pagal superpozicijos teoriją, tinklas, kuriam trūksta neuronų, sudeda nesusijusias sąvokas į tuos pačius neuronus. Tyrėjams tada prireiktų antrojo modelio, pavyzdžiui, retų autoenkoderių, kad juos išskirtų prieš pradedant tyrimą. Cammarata teigia, kad dauguma sudėtingai atrodančių neuronų atsiranda dėl to, ką jis vadina „rekursiniu apibendrinimu“. Neuronas išaugina atšakas, susijusias su jo pagrindiniu darbu, panašiai kaip šaka išaugina smulkesnes šakeles. Jo pavyzdys – neuronas, kuris perėjo nuo „iy“ aptikimo prie „diy“ ir galiausiai prie „do it yourself“. „Dabar manau, kad superpoziciją laikiau nuline hipoteze, nors ji turėjo būti paskutinė, nes ji yra radikaliausia ir sunkiausiai patikrinama“, – rašo jisalready-clean.goodfire.com.

Esė taip pat peržiūrimi paties Cammarata atlikti darbai. Jis teigia, kad garsusis „katės ir automobilio“ neuronas „InceptionV1“ vaizdų modelyje iš tikrųjų yra smailių V formų detektorius. Jis taip pat nurodo, kad 2020 m. jo identifikuota automobilio ir šuns superpozicijos grandinė buvo klaidathe-decoder.de.

Skaičiai

Cammarata palygino „InceptionV1“ su tokio pat dydžio „ConvNeXt“ modeliu, apmokytu su tais pačiais duomenimis. Jo teigimu, apie 99 proc. „ConvNeXt“ modelio paskutinio sluoksnio neuronų buvo lengvai suprantami. „InceptionV1“ atveju šis skaičius siekė apie 5 proc. su to meto įrankiais ir apie 50 proc. su šiuolaikiniais. Kalbant apie kalbos modelius, jis rašo, kad „atlikę pirminius „Qwen3-32B“ auditus, manome, kad maždaug 90 proc. neuronų polių atlieka vieną pagrindinę funkciją“. Dar 7 proc. atlieka dvi susijusias funkcijas, o 2–4 proc. vis dar nėra suprastialready-clean.goodfire.com.

Jis įspėja, kad skaičiai priklauso nuo nustatytų ribų. Jis teigia esąs „galbūt 85 proc. tikras“, kad beveik viskas kyla iš įprasto apibendrinimo. Darbas rėmėsi DI agentais, kurie rašo paaiškinimus apie neuronų veikimą ir juos tikrina; agentai peržiūrėjo 100 000 priskyrimo grafų, kurie seka informacijos judėjimą modelyje. Palyginimui, 2023 m. vykdytas automatizuotas „OpenAI“ projektas nustatė, kad tik apie 1,7 proc. neuronų yra suprantami, net ir taikant pačius dosniausius vertinimo kriterijusthe-decoder.de+1.

Prieštaringa reakcija

Kai kurie žmonės palankiai įvertino esė. „Latent Space“ naujienlaiškis „AINews“ jį išplatino su antrašte „Agentai paneigia polisemantiškumą“. Kiti buvo atsargesnilatent.space.

Neel Nanda, vadovaujantis mechanistiniam interpretuojamumui „Google DeepMind“, pavadino darbą įdomiu, tačiau teigė, kad jis nekeičia bendro vaizdo. Jis vis dar tiki, kad superpozicija egzistuoja, iš dalies todėl, kad kalbos modeliai saugo daug daugiau faktų, nei turi neuronų, ir mano, kad silpnos aktyvacijos neša daugelį tų įsimintų faktų. Jis abejoja, ar mažų vaizdų modelių išvados tinka kalbos modeliams, ir teigia, kad esė per plačiai apibrėžia monosemantiškumą. Jis taip pat tikisi, kad neuronais pagrįsta analizė darys rimtų klaidų ir daug ką praleisthe-decoder.de+1.

Jie abu sutaria dėl vieno dalyko: modeliai gali reprezentuoti daugiau sąvokų, nei turi dimensijų. Cammarata ginčija tik idėją, kad tinklai atsitiktinai sudeda visiškai nesusijusius dalykus. Nepriklausomos grupės dar nepatvirtino jo rezultatųthe-decoder.de.