„OpenAI“ GPT-6 Astra: mažiau haliucinacijų, bet vis dar pažeidžiamas paslėptoms atakoms

Rugsėjo 3 d. išleistas „OpenAI“ GPT-6 Astra žymi pastebimą faktinio tikslumo ir atsparumo tiesioginiam užklausų manipuliavimui pagerėjimą, palyginti su jo pirmtaku GPT-5.6 Sol. Tačiau nepriklausomi saugumo bandymai atskleidžia, kad modelį vis dar galima kompromituoti per paslėptas instrukcijas, įterptas į jo apdorojamus dokumentus – tai silpnybė, apsunkinanti jo naudojimą įmonių ir agentų pagrindu veikiančiose sistemose.

Haliucinacijų ir tiesioginių atakų mažėjimas

Remiantis „OpenAI“ sistemos aprašu, „Astra“ žinomus faktinius netikslumus atkartoja daug rečiau nei GPT-5.6 Sol, o didžiausias pagerėjimas matomas esant mažo vėlavimo nustatymams ir žemesniems samprotavimo lygiams. Kalbant apie tiesiogines užklausų injekcijas, kai vartotojai bando manipuliuoti modeliu per savo įvestis, „Astra“ pasiekia 99,99 proc. gynybos rodiklį – rezultatą, kurį „OpenAI“ priskiria savo „GPT-Red“ metodui, naudojančiam automatizuotą puolėją modeliui stiprinti mokymo metu.the-decoder+1

Atsparumas „jailbreak“ atakoms seka panašiu modeliu. Prieš fiksuotą žinomų atakų rinkinį, nukreiptą į žalingus atsakymus biologijos, smurto ir kibernetinio saugumo srityse, „Astra“ atsisako vykdyti užklausas 91,5–98,3 proc. atvejų. Tačiau kai priešininkai pritaiko savo strategiją per kelis pokalbių etapus, gynybos rodiklis nukrenta iki maždaug 67 proc., o tai reiškia, kad atkaklūs užpuolikai gali išgauti probleminį atsakymą maždaug vienu iš trijų bandymų. „OpenAI“ pažymėjo, kad šie bandymai buvo atlikti su baziniu modeliu be gamybinių saugos sluoksnių, kurie pateikiami su vartotojams skirtais produktais.the-decoder

Paslėptos užklausų injekcijos išlieka problema

Didžiausias pažeidžiamumas slypi netiesioginėse užklausų injekcijose, kai kenkėjiškos instrukcijos yra paslėptos dokumentuose ar tinklalapiuose, kuriuos modelis skaito. Išoriniai saugumo įmonės „Gray Swan“ bandymai, naudojant 1 810 kuruotų atakų iš jos „IPI Arena“, parodė, kad „Astra“ gali būti nulaužta bent kartą per 8,5 proc. scenarijų, atlikus 15 bandymų. Tai yra žymus pagerėjimas, palyginti su 27 proc. GPT-5.6 Sol nesėkmių rodikliu atliekant tą patį vertinimą, tačiau tai vis tiek reiškia, kad modelį galima apgauti per įterptas instrukcijas maždaug vienu iš dvylikos atvejų.the-decoder

„Anthropic“ „Claude Opus 5“ šiame bandyme pasirodė geriau – 4,8 proc. nesėkmių rodiklis, nors jis taip pat nebuvo visiškai atsparus.the-decoder

Kodėl tai svarbu DI agentams

„Astra“ yra pirmasis „OpenAI“ modelis, pasiekęs „kritinę“ kibernetinio saugumo pajėgumų ribą pagal bendrovės pasirengimo sistemą, reiškiantį, kad jis gali identifikuoti ir išnaudoti nulinės dienos pažeidžiamumus visose apsaugotose sistemose be žmogaus pagalbos. Šis pajėgumas, kartu su modelio gebėjimu naršyti internete, naudotis kompiuteriais ir savarankiškai vykdyti kelių žingsnių užduotis, daro netiesioginių užklausų injekcijų spragą svarbesnę nei paprastam pokalbių robotui.deploymentsafety.openai+2

Kaip pažymėjo „The Decoder“, bet kuriai įmonės saugumo komandai, vertinančiai „Astra“ agentų diegimui, netiesioginių injekcijų rezultatai rodo, kad modelis dar nėra pakankamai patikimas aplinkoms, kuriose jį gali pasiekti nepatikimas turinys.the-decoder