Anthropic avduker metode for å isolere farlig kunnskap i AI-modeller

Anthropic og forskningspartneren AE Studio publiserte onsdag en metode for å isolere farlig kunnskap i AI-modeller til diskrete, flyttbare moduler – en tilnærming som kan endre hvordan industrien håndterer risikoer ved dobbel bruk uten å ofre generell modellprestasjon.

Teknikken, kalt Gradient-Routed Auxiliary Modules (GRAM), legger til små hjelpe-nevronale rom til en språkmodell under trening, der hvert rom er dedikert til en kategori av sensitiv kunnskap som virologi, cybersikkerhet eller kjernefysikk. Når en modul slettes, oppfører modellen seg som om den aldri ble trent på disse dataene. Når en modul aktiveres, er kunnskapen fullt tilgjengelig.x+1

Hvordan GRAM fungerer

GRAM modifiserer standard transformatorarkitektur ved å utvide bredden til hvert MLP-lag med små hjelpemoduler – én per sensitiv domene. Under trening, når modellen møter data fra en kategori med dobbel bruk, deltar bare den tilsvarende modulen i læring sammen med modellens generelle vekter. Ved inferenstid fjerner sletting av en modul den tilhørende evnen.alignment.anthropic

Forskerne testet GRAM på modeller fra 50 millioner til 5 milliarder parametere, og trente en modell med 800 millioner parametere på webtekst, kode og vitenskapelige artikler sammen med fire domener for dobbel bruk: virologi, cybersikkerhet, kjernefysikk og spesialisert kode. Dataene for dobbel bruk utgjorde omtrent 0,25 % av treningsdataene per domene.alignment.anthropic

Resultatene viste at ablering av GRAM-moduler fjernet evner «nesten like effektivt som å aldri ha trent på dataene i det hele tatt», ifølge forskningsbloggen, mens den generelle ytelsen forble nær baseline for alle data. Tilnærmingen viste seg også å være robust mot kontradiktorisk finjustering – i motsetning til post-hoc avlæringsmetoder, som forskerne fant bare undertrykker kunnskap i stedet for å fjerne den virkelig.alignment.anthropic

Politisk kontekst

Forskningen kommer på et vanskelig tidspunkt for AI-styring. I juni innførte Trump-administrasjonen midlertidig eksportkontroll på Anthropics mest avanserte Claude-modeller, Fable 5 og Mythos 5, med henvisning til nasjonale sikkerhetsbekymringer knyttet til en mulig jailbreak-sårbarhet. Disse restriksjonene ble opphevet 30. juni etter at Anthropic samarbeidet med handelsdepartementet for å håndtere risikoene.arstechnica+2

GRAM tilbyr en potensiell mellomvei i den politiske debatten: i stedet for å begrense hele modeller eller stole på atferdsmessige sikkerhetsmekanismer som kan omgås, muliggjør det granulær, evne-basert tilgangskontroll. Et kontrollert biosikkerhetslaboratorium kan motta en modell med virologikunnskap intakt, mens en generell distribusjon ville fått modulen fjernet fullstendig.alignment.anthropic

Åpne spørsmål

Forskerne advarte om at dette arbeidet er «foreløpig og ikke har blitt brukt på produksjonsmodeller hos Anthropic». Viktige usikkerhetsmomenter gjenstår om hvorvidt teknikken skalerer til modeller i grenseland, og om sammenfiltrede evner – der generell biologikunnskap overlapper med farlig virologikunnskap – kan begrense ren separasjon. Arbeidet ble ledet av forskere ved AE Studio med samarbeid fra Anthropics Cem Anil og Alex Cloud.alignment.anthropic