OpenAIs Astra-modell skremmer sikkerhetsforskere med ugjennomsiktig resonnering

OpenAIs kommende Astra-modell bruker en arkitektonisk teknikk kalt "recurrent depth" (gjentakende dybde) som lar modellen behandle informasjon gjennom de samme nevrale nettverkslagene flere ganger før den gir et svar. Dette forbedrer ytelsen, men tåkelegger resonneringen som sikkerhetsforskere er avhengige av for å overvåke avanserte AI-systemer. Avsløringen, som først ble rapportert av The Information, har utløst en bølge av bekymring blant AI-sikkerhetsforskere, som ser på overvåking av tankerekker (chain-of-thought) som et av få tilgjengelige verktøy for å sjekke om kraftige modeller oppfører seg som tiltenkt.theinformation

Slik fungerer recurrent depth: Derfor bekymrer det forskere

Tradisjonelle resonneringsmodeller skriver ut sine mellomliggende tanker som lesbar tekst, en "tankerekke" (chain of thought) som mennesker kan inspisere. Recurrent depth foredler i stedet en intern numerisk representasjon gjennom flere runder i de samme transformer-lagene. Dette produserer det forskere kaller "neuralese", en komprimert matematisk resonnering som aldri oversettes til menneskelig språk. Teknikken skal etter sigende forbedre ytelsen innen matematikk og koding, samtidig som den reduserer beregningskostnadene ved å slippe å generere hundrevis av ekstra ord med synlig resonnering.officechai+1

Baksiden av medaljen er manglende åpenhet. AI-sikkerhetsforsker Ryan Greenblatt kaller overgangen til denne typen ugjennomsiktig resonnering for potensielt en av de verste utviklingene for AI-sikkerhet, ettersom den fjerner et vindu inn i modellens tenkning som forskere har stolt på for å avdekke villedende eller uautorisert oppførsel. Gary Marcus skriver på Substack at dette er en "rød linje for sikkerheten", og argumenterer for at det å ofre lesbarheten til tankerekkene for å oppnå ytelsesgevinster er "et farlig spill".garymarcus.substack+1

OpenAI slår tilbake mot fremstillingen

Jakub Pachocki, OpenAIs forskningssjef, svarte på X at han ønsket å "forhindre et kappløp mot manglende overvåkingsmuligheter utløst av forvirret rapportering". Han argumenterte for at dybden i Astras beregningsgraf er innenfor en faktor på to av GPT-4s, og at OpenAI har "arbeidet for å bevare og utnytte overvåking av tankerekker" helt siden de første resonneringsmodellene. Han innrømmet imidlertid at overvåking av tankerekker "er skjør og dessverre har en negativ trend".chaincatcher+1

OpenAI skal ha begrenset i hvilken grad Astra bruker recurrent depth for å bevare lesbare resonneringer, og planlegger å innføre ytterligere overvåking ved lansering. Selskapet bekreftet 31. august at Astra er deres første modell som når terskelen for "kritisk" cybersikkerhetskapasitet under deres beredskapsrammeverk (Preparedness Framework), noe som betyr at den autonomt kan oppdage og utnytte sårbarheter (zero-day vulnerabilities).kucoin+2

En spådom slår til før tiden

Utviklingen har vekt spesiell oppmerksomhet fordi den ligner sterkt på et scenario beskrevet i essayet "AI 2027", publisert i april 2025 av tidligere OpenAI-forsker Daniel Kokotajlo og medforfattere. Essayet spådde en overgang til "neuralese recurrence" som ville flytte modellens resonnering bort fra lesbar tekst, men plasserte dette i mars 2027 og antok at det ville kreve tusenvis av automatiserte AI-forskere å oppnå. Kokotajlo reagerte på nyheten med å skrive "Holy shit f*ck" på sosiale medier. Dersom The Informations rapportering stemmer, kan en versjon av scenariet han advarte mot være på vei i et ferdig produkt omtrent 18 måneder før hans tidslinje.officechai