Výzkumník z Goodfire tvrdí, že neuronové sítě jsou interpretovatelné

Nick Cammarata, výzkumník v laboratoři pro interpretovatelnost AI Goodfire, v eseji publikované 15. října tvrdí, že neuronové sítě jsou mnohem čitelnější, než se v oboru předpokládalo. Uvádí, že nejznámější důkazy pro „superpozici“ byly chybně interpretovány. Esej rozdělila výzkumníky v otázce, zda je interpretovatelnost blízko průlomu. Cammarata své tvrzení označuje za „pracovní hypotézu“. Podle eseje zatím nebyl publikován technický doprovodný dokument o neuronech jazykových modelůbraindetox.kr.

Hlavní tvrzení

Podle teorie superpozice síť, které se nedostává neuronů, balí nesouvisející koncepty do stejných neuronů. Výzkumníci by pak potřebovali druhý model, například řídký autoenkodér, aby je před zkoumáním rozpletli. Cammarata naproti tomu tvrdí, že většina neuronů s nejednoznačným vzhledem pochází z toho, co nazývá „rekurzivní generalizací“. Neurony si vytvářejí odnože související s jejich hlavní funkcí, podobně jako větev stromu roste do dalších větví. Jako příklad uvádí neuron, který se vyvinul od detekce „iy“ přes „diy“ až po „do it yourself“. „Nyní si myslím, že jsem superpozici považoval za nulovou hypotézu, přitom měla být až tou poslední, protože je nejradikálnější a nejhůře testovatelná,“ píšealready-clean.goodfire.com.

Esej se také vrací k práci, kterou Cammarata vykonal sám. Tvrdí, že slavný „kočičí a automobilový“ neuron v modelu InceptionV1 je ve skutečnosti detektorem špičatých tvarů písmene V. Dále uvádí, že obvod superpozice auta a psa, který identifikoval v roce 2020, byl chybouthe-decoder.de.

Čísla

Cammarata porovnal InceptionV1 s modelem ConvNeXt stejné velikosti trénovaným na stejných datech. Uvádí, že přibližně 99 % neuronů v poslední vrstvě modelu ConvNeXt bylo snadno interpretovatelných. U InceptionV1 to bylo zhruba 5 % s tehdejšími nástroji a asi 50 % s dnešními. U jazykových modelů píše, že „při předběžných auditech Qwen3-32B odhadujeme, že zhruba 90 % neuronových pólů má jednu hlavní funkci“. Dalších 7 % má dvě související funkce a 2 % až 4 % zatím nejsou pochopenaalready-clean.goodfire.com.

Varuje, že čísla závisí na nastavených prahových hodnotách. Říká, že je „možná na 85 % jistý“, že téměř vše pochází z běžné generalizace. Práce se opírala o AI agenty, kteří píší vysvětlení toho, co neurony dělají, a následně je testují. Agenti přezkoumali 100 000 atribučních grafů, které sledují, jak se informace pohybuje modelem. Pro srovnání, automatizovaný projekt OpenAI v roce 2023 zjistil, že srozumitelných je pouze asi 1,7 % neuronů, a to i při nejvelkorysejším měřeníthe-decoder.de+1.

Rozporuplné reakce

Někteří lidé esej přivítali. Newsletter AINews od Latent Space ji publikoval pod titulkem „Agenti vyvracejí polysemantičnost“. Jiní byli opatrnějšílatent.space.

Neel Nanda, který vede mechanistickou interpretovatelnost v Google DeepMind, označil práci za zajímavou, ale uvedl, že nemění celkový obraz. Stále věří, že superpozice je reálná, částečně proto, že jazykové modely ukládají mnohem více faktů, než mají neuronů, a domnívá se, že slabé aktivace nesou mnoho z těchto zapamatovaných faktů. Pochybuje, že zjištění z malých obrazových modelů lze přenést na jazykové modely, a argumentuje, že esej definuje monosemantičnost příliš velkoryse. Také očekává, že analýza založená na neuronech bude dělat vážné chyby a mnoho věcí přehlédnethe-decoder.de+1.

Obě strany se shodují v jednom bodě: modely mohou reprezentovat více konceptů, než mají dimenzí. Cammarata zpochybňuje pouze myšlenku, že sítě náhodně balí zcela nesouvisející věci dohromady. Nezávislé skupiny jeho výsledky zatím nepotvrdilythe-decoder.de.