„Anthropic“ pristatė būdą, kaip izoliuoti pavojingas žinias DI modeliuose

„Anthropic“ ir tyrimų partneris „AE Studio“ trečiadienį paskelbė metodą, skirtą izoliuoti pavojingas žinias DI modeliuose į atskirus, pašalinamus modulius – tai požiūris, kuris gali pakeisti tai, kaip pramonė valdo dvejopos paskirties rizikas neaukojant bendro modelio našumo.

Ši technika, vadinama „Gradient-Routed Auxiliary Modules“ (GRAM), mokymo metu prideda mažus pagalbinius neuroninius skyrius prie kalbos modelio, kiekvieną skyrių skiriant tam tikrai jautrių žinių kategorijai, pavyzdžiui, virusologijai, kibernetiniam saugumui ar branduolinei fizikai. Kai modulis ištrinamas, modelis elgiasi taip, tarsi niekada nebūtų buvęs mokytas su tais duomenimis. Kai modulis aktyvuojamas, žinios tampa visiškai prieinamos.x+1

Kaip veikia GRAM

GRAM modifikuoja standartinę transformatoriaus architektūrą, išplėsdama kiekvieno MLP sluoksnio plotį mažais pagalbiniais moduliais – po vieną kiekvienai jautriai sričiai. Mokymo metu, kai modelis susiduria su dvejopos paskirties kategorijos duomenimis, tik atitinkamas modulis dalyvauja mokymesi kartu su bendrosios paskirties modelio svoriais. Išvados metu modulio ištrynimas pašalina susijusius gebėjimus.alignment.anthropic

Tyrėjai išbandė GRAM su modeliais, kurių dydis svyravo nuo 50 milijonų iki 5 milijardų parametrų, mokydami 800 milijonų parametrų modelį su interneto tekstais, kodu ir moksliniais straipsniais kartu su keturiomis dvejopos paskirties sritimis: virusologija, kibernetiniu saugumu, branduoline fizika ir specializuotu kodu. Dvejopos paskirties duomenys sudarė maždaug 0,25 % mokymo duomenų kiekvienoje srityje.alignment.anthropic

Rezultatai parodė, kad GRAM modulių pašalinimas panaikino gebėjimus „beveik taip pat efektyviai, kaip ir niekada nebuvimas mokytam su tais duomenimis“, teigiama tyrimų tinklaraščio įraše, o bendras našumas išliko artimas pradiniam lygiui. Šis metodas taip pat pasirodė atsparus priešiškam tiksliajam derinimui – skirtingai nei „post-hoc“ atsimokymo metodai, kurie, tyrėjų nuomone, tik nuslopina žinias, o ne jas tikrai pašalina.alignment.anthropic

Politinis kontekstas

Tyrimas pasirodo sudėtingu metu DI valdymo srityje. Birželio mėnesį Trumpo administracija laikinai įvedė eksporto kontrolę pažangiausiems „Anthropic“ modeliams, „Fable 5“ ir „Mythos 5“, nurodydama nacionalinio saugumo problemas, susijusias su galimu „jailbreak“ pažeidžiamumu. Šie apribojimai buvo panaikinti birželio 30 d., kai „Anthropic“ bendradarbiavo su Prekybos departamentu, siekdama pašalinti rizikas.arstechnica+2

GRAM siūlo galimą kompromisą politinėse diskusijose: užuot ribojus visus modelius ar pasikliaujant elgsenos apsaugos priemonėmis, kurias galima apeiti, tai įgalina detalią, pagal gebėjimus pritaikytą prieigos kontrolę. Patikrinta biosaugos laboratorija galėtų gauti modelį su nepažeistomis virusologijos žiniomis, o bendro naudojimo atveju tas modulis būtų visiškai pašalintas.alignment.anthropic

Atviri klausimai

Tyrėjai įspėjo, kad šis darbas yra „preliminarus ir nebuvo taikomas gamybiniams modeliams „Anthropic“ įmonėje“. Išlieka pagrindinis neaiškumas, ar ši technika pritaikoma „frontier“ dydžio modeliams ir ar susipynę gebėjimai – kai bendrosios biologijos žinios persidengia su pavojingomis virusologijos žiniomis – galėtų apriboti švarų atskyrimą. Darbui vadovavo „AE Studio“ tyrėjai, bendradarbiaudami su „Anthropic“ atstovais Cem Anil ir Alex Cloud.alignment.anthropic