OpenAIn uusi Astra-malli huolestuttaa turvallisuustutkijoita: Päättelyketju jää piiloon

OpenAIn tuleva Astra-malli hyödyntää arkkitehtuuria nimeltä "toistuva syvyys" (recurrent depth). Sen ansiosta malli voi käsitellä tietoa saman neuroverkkokerroksen läpi useita kertoja ennen vastauksen tuottamista. Tämä parantaa suorituskykyä mutta samalla hämärtää päättelyketjua, johon turvallisuustutkijat tukeutuvat valvoessaan kehittyneitä tekoälyjärjestelmiä. The Information -lehden ensiksi uutisoima paljastus on herättänyt laajaa huolta tekoälyturvallisuuden tutkijoissa, jotka pitävät päättelyketjun valvontaa yhtenä harvoista keinoista varmistaa, että tehokkaat mallit toimivat halutulla tavalla.theinformation

Miten toistuva syvyys toimii ja miksi se huolestuttaa tutkijoita

Perinteiset päättelymallit kirjoittavat välivaiheensa näkyväksi tekstiksi, ihmiselle luettavaksi päättelyketjuksi. Toistuva syvyys sen sijaan hioo sisäistä numeerista esitysmuotoaan useilla kierroksilla samojen muuntajakerrosten läpi. Tuloksena on tutkijoiden "neurokieleksi" (neuralese) kutsumaa tiivistettyä matemaattista päättelyä, jota ei koskaan käännetä ihmiskielelle. Tekniikan kerrotaan parantavan suorituskykyä matematiikassa ja koodauksessa samalla, kun se säästää laskentakustannuksia, joita satojen ylimääräisten näkyvien sanojen tuottaminen vaatisi.officechai+1

Kolikon kääntöpuolena on läpinäkyvyys. Tekoälyturvallisuuden tutkija Ryan Greenblatt kutsui siirtymistä tällaiseen läpinäkymättömään päättelyyn mahdollisesti yhdeksi tekoälyturvallisuuden huonoimmista kehityskuluista, sillä se poistaa näkymän mallin ajatteluun, jota tutkijat ovat käyttäneet havaitakseen petollisen tai luvattoman toiminnan. Gary Marcus kirjoitti Substack-alustalla tämän olevan "turvallisuuden punainen viiva" ja totesi, että päättelyketjun luettavuuden uhraaminen suorituskyvyn vuoksi on "vaarallista peliä".garymarcus.substack+1

OpenAI kiistää synkimmät tulkinnat

OpenAIn tutkimusjohtaja Jakub Pachocki vastasi X-palvelussa ja sanoi haluavansa "estää hämmentävän uutisoinnin käynnistämän kilpajuoksun kohti valvontakelvottomuutta". Hän väitti, että Astran laskentakaavion syvyys on vain noin kaksinkertainen GPT-4:ään verrattuna ja että OpenAI on "pyrkinyt säilyttämään ja hyödyntämään päättelyketjun valvontaa" ensimmäisistä päättelymalleistaan lähtien. Hän kuitenkin myönsi, että päättelyketjun valvonta "on hauras ja valitettavasti kehittymässä huonompaan suuntaan".chaincatcher+1

Raporttien mukaan OpenAI on rajoittanut sitä, kuinka paljon Astra käyttää toistuvaa syvyyttä, jotta luettava päättely saadaan säilytettyä, ja aikoo ottaa käyttöön lisävalvontaa mallin julkaisun yhteydessä. Yhtiö vahvisti 31. elokuuta, että Astra on sen ensimmäinen malli, joka ylittää "kriittisen" kyberturvallisuusrajan sen oman valmiuskehyksen (Preparedness Framework) mukaisesti. Tämä tarkoittaa, että malli kykenee itsenäisesti löytämään ja hyödyntämään nollapäivähaavoittuvuuksia.kucoin+2

Ennustus toteutui etuajassa

Kehitys on herättänyt erityistä huomiota, koska se vastaa läheisesti skenaariota, joka kuvailtiin huhtikuussa 2025 julkaistussa "AI 2027" -esseessä. Sen kirjoittivat OpenAIn entinen tutkija Daniel Kokotajlo ja hänen kanssakirjoittajansa. Esseessä ennustettiin siirtymistä kohti "neurokielistä toistuvuutta", joka siirtäisi mallin päättelyn pois luettavasta tekstistä. Ennusteessa tämän arvioitiin kuitenkin tapahtuvan vasta maaliskuussa 2027 ja vaativan tuhansia automatisoituja tekoälytutkijoita. Kokotajlo reagoi uutiseen kirjoittamalla: "Holy shit f*ck." Jos The Informationin raportti pitää paikkansa, hänen varoittamansa skenaario saattaa toteutua valmiissa tuotteessa noin 18 kuukautta arvioitua aikaisemmin.officechai