Nýtt Astra-líkan OpenAI veldur öryggisrannsakendum áhyggjum: Rökhugsunin verður ógagnsæ

Væntanlegt Astra-líkan OpenAI notar byggingartækni sem kallast „endurtekin dýpt“ (recurrent depth). Hún gerir líkaninu kleift að vinna úr upplýsingum í gegnum sömu taugakerfislögin oft áður en það gefur svar. Þetta bætir afköst en dregur jafnframt upp hulu yfir þá rökhugsun sem öryggisrannsakendur treysta á til að fylgjast með háþróuðum gervigreindarkerfum. Þessi ljóstrun, sem The Information greindi fyrst frá, hefur vakið miklar áhyggjur meðal öryggisrannsakenda gervigreindar sem líta á eftirlit með hugsunarkeðjum (chain-of-thought) sem eitt fárra tækja til að athuga hvort öflug líkön hegði sér eins og til er ætlast.theinformation

Hvernig endurtekin dýpt virkar og hvers vegna hún veldur áhyggjum

Hefðbundin rökhugsunarlíkön skrifa niður milliskref sín sem lesanlegan texta, „hugsunarkeðju“ sem fólk getur rannsakað. Endurtekin dýpt fínpússar þess í stað innri tölulega framsetningu með mörgum umferðum í gegnum sömu umbreytilögin. Þetta framleiðir það sem rannsakendur kalla „taugamál“ (neuralese): þjappaða stærðfræðilega rökhugsun sem er aldrei þýdd yfir á mannamál. Tæknin á að bæta frammistöðu í stærðfræði og forritun á sama tíma og hún dregur úr reiknikostnaði við að búa til mörg hundruð aukaorð af sýnilegri rökhugsun.officechai+1

Fórnarkostnaðurinn er gagnsæi. Öryggisrannsakandi gervigreindar, Ryan Greenblatt, kallaði breytinguna yfir í þessa tegund ógagnsærrar rökhugsunar hugsanlega eina verstu þróunina fyrir öryggi gervigreindar, þar sem hún lokar glugganum inn í hugsun líkansins sem rannsakendur hafa treyst á til að koma upp um blekkjandi eða óheimila hegðun. Gary Marcus skrifaði á Substack og kallaði þetta „rauða línu í öryggismálum“ og sagði að það væri „hættulegur leikur“ að fórna læsileika hugsunarkeðjunnar fyrir frammistöðu.garymarcus.substack+1

OpenAI svarar gagnrýninni

Jakub Pachocki, yfirmaður rannsókna hjá OpenAI, svaraði á X og sagðist vilja „koma í veg fyrir kapphlaup í átt að óeftirlitsbæru ástandi sem hrundið var af stað með ruglingslegum fréttaflutningi.“ Hann hélt því fram að dýpt reiknirits Astra væri innan við tvöföld dýpt GPT-4 og að OpenAI hafi „unnið að því að varðveita og nýta eftirlit með hugsunarkeðjum“ allt frá fyrstu rökhugsunarlíkönum sínum. Hann viðurkenndi þó að eftirlit með hugsunarkeðjum væri „viðkvæmt og því miður á niðurleið“.chaincatcher+1

Hermt er að OpenAI hafi takmarkað að hve miklu leyti Astra notar endurtekna dýpt til að varðveita lesanlega rökhugsun og áformar að innleiða frekara eftirlit við útgáfu. Fyrirtækið staðfesti þann 31. ágúst að Astra væri fyrsta líkan þess sem nær „alvarlegum“ (Critical) viðmiðunarmörkum um netöryggisgetu samkvæmt viðbúnaðarramma þess (Preparedness Framework), sem þýðir að það getur sjálfstætt fundið og nýtt sér noll-daga veikleika (zero-day vulnerabilities).kucoin+2

Spá sem rætist á undan áætlun

Þessi þróun hefur vakið sérstaka athygli þar sem hún endurspeglar nákvæmlega sviðsmynd sem lýst var í ritgerðinni „AI 2027“, sem gefin var út í apríl 2025 af Daniel Kokotajlo, fyrrum rannsakanda hjá OpenAI, og meðhöfundum hans. Í þeirri ritgerð var spáð breytingu yfir í „endurtekningu á taugamáli“ sem myndi færa rökhugsun líkana burt frá lesanlegum texta. Hins vegar var gert ráð fyrir því í mars 2027 og talið að það krefðist þúsunda sjálfvirkra gervigreindarrannsakenda til að ná því fram. Kokotajlo brást við fréttunum með því að skrifa: „Holy shit f*ck.“ Ef fréttaflutningur The Information reynist réttur gæti útgáfa af þeirri sviðsmynd sem hann varaði við verið að koma fram í tilbúinni vöru um það bil 18 mánuðum á undan áætlun hans.officechai