Model Astra od OpenAI děsí experty: jeho neprůhledné uvažování nelze kontrolovat

Chystaný model Astra od společnosti OpenAI využívá architektonickou techniku zvanou „rekurentní hloubka“ (recurrent depth), která modelu umožňuje zpracovat informace přes stejné vrstvy neuronové sítě opakovaně, než vygeneruje odpověď. To sice zvyšuje výkon, ale zároveň to zahaluje proces uvažování, na který se výzkumníci spoléhají při monitorování pokročilých systémů AI. Toto odhalení, o němž jako první informoval server The Information, vyvolalo vlnu obav mezi odborníky na bezpečnost AI, kteří považují sledování myšlenkových pochodů (chain-of-thought) za jeden z mála nástrojů pro kontrolu, zda se výkonné modely chovají podle očekávání.theinformation

Jak funguje rekurentní hloubka a proč děsí výzkumníky

Tradiční modely uvažování zapisují své mezikroky jako čitelný text, tedy „myšlenkový pochod“, který mohou lidé zkontrolovat. Rekurentní hloubka namísto toho zpřesňuje vnitřní číselnou reprezentaci během několika průchodů stejnými vrstvami transformeru, čímž vzniká to, co výzkumníci nazývají „neuronštinou“ (neuralese) – komprimované matematické uvažování, které se nikdy nepřeloží do lidského jazyka. Tato technika údajně zlepšuje výsledky v matematice a programování a zároveň snižuje výpočetní náklady na generování stovek nadbytečných slov viditelného uvažování.officechai+1

Daň za to je však ztráta transparentnosti. Výzkumník v oblasti bezpečnosti AI Ryan Greenblatt označil posun k tomuto typu neprůhledného uvažování za potenciálně jeden z nejhorších kroků pro bezpečnost AI, protože odstraňuje okno do uvažování modelu, na které se výzkumníci spoléhali při odhalování klamavého nebo nepovoleného chování. Gary Marcus na platformě Substack to označil za „bezpečnostní červenou linii“ s tím, že obětovat čitelnost myšlenkových pochodů na úkor vyššího výkonu je „nebezpečná hra“.garymarcus.substack+1

OpenAI se brání kritice

Jakub Pachocki, hlavní výzkumný ředitel OpenAI, reagoval na síti X slovy, že chce „zabránit závodům v neovladatelnosti, které odstartovalo zmatené zpravodajství“. Argumentoval tím, že hloubka výpočetního grafu modelu Astra je v rozmezí dvojnásobku oproti GPT-4 a že OpenAI „pracuje na zachování a využívání monitorování myšlenkových pochodů“ již od svých prvních modelů zaměřených na uvažování. Připustil však, že monitorování myšlenkových pochodů „je křehké a jeho vývoj má bohužel sestupnou tendenci“.chaincatcher+1

OpenAI údajně omezila míru, do jaké Astra rekurentní hloubku využívá, aby zachovala čitelný výstup uvažování, a při vydání plánuje zavést dodatečné monitorování. Společnost 31. srpna potvrdila, že Astra je jejím prvním modelem, který splňuje „kritickou“ úroveň kybernetické bezpečnosti podle jejího rámce připravenosti (Preparedness Framework), což znamená, že dokáže autonomně vyhledávat a zneužívat zero-day zranitelnosti.kucoin+2

Předpověď přichází dříve, než se čekalo

Tento vývoj vzbudil mimořádnou pozornost, protože věrně kopíruje scénář popsaný v eseji „AI 2027“, kterou v dubnu 2025 publikoval bývalý výzkumník OpenAI Daniel Kokotajlo se svými spoluautory. Tato esej předpovídala posun k „rekurenci v neuronštině“, která by uvažování modelů přesunula mimo čitelný text – tehdy se však počítalo s termínem v březnu 2027 a předpokládalo se, že k tomu bude zapotřebí tisíců automatizovaných výzkumníků AI. Kokotajlo na zprávu reagoval stručným komentářem: „Sakra, to snad ne.“ Pokud se informace serveru The Information potvrdí, verze scénáře, před kterým varoval, se dostane do ostrého produktu zhruba o 18 měsíců dříve, než předvídal.officechai