OpenAIs Astra-Modell alarmiert Sicherheitsforscher mit undurchsichtigen Denkprozessen

Das bevorstehende Astra-Modell von OpenAI nutzt eine architektonische Methode namens „rekursive Tiefe“ (recurrent depth). Diese ermöglicht es dem Modell, Informationen mehrfach durch dieselben Schichten des neuronalen Netzwerks zu leiten, bevor es eine Antwort generiert. Dies verbessert zwar die Leistung, verschleiert jedoch die Denkprozesse, auf die sich Sicherheitsforscher bei der Überwachung hochentwickelter KI-Systeme stützen. Die Enthüllung, über die zuerst The Information berichtete, hat unter KI-Sicherheitsforschern große Besorgnis ausgelöst. Sie sehen in der Überwachung von Gedankengängen (Chain-of-Thought) eines der wenigen verfügbaren Werkzeuge, um zu überprüfen, ob sich leistungsstarke Modelle wie beabsichtigt verhalten.theinformation

Wie rekursive Tiefe funktioniert: Und warum sie Forschern Sorgen bereitet

Traditionelle Denkmodelle formulieren ihre Zwischenschritte als lesbaren Text aus, eine Gedankenkette (Chain of Thought), die von Menschen überprüft werden kann. Bei der rekursiven Tiefe hingegen wird eine interne numerische Darstellung über mehrere Durchläufe durch dieselben Transformer-Schichten hinweg verfeinert. Dadurch entsteht das, was Forscher als „Neuralese“ bezeichnen: komprimierte mathematische Denkprozesse, die nie in menschliche Sprache übersetzt werden. Die Technik verbessert Berichten zufolge die Leistung bei mathematischen Aufgaben und beim Programmieren, während gleichzeitig die Rechenkosten gesenkt werden, die sonst für die Generierung Hunderter zusätzlicher Wörter sichtbarer Gedankengänge anfallen würden.officechai+1

Der Preis dafür ist die Transparenz. Der KI-Sicherheitsforscher Ryan Greenblatt bezeichnete den Übergang zu dieser Art von undurchsichtigem Denken als potenziell eine der schlimmsten Entwicklungen für die KI-Sicherheit. Er entziehe Forschern den Einblick in die Denkprozesse des Modells, auf den sie angewiesen sind, um täuschendes oder unbefugtes Verhalten aufzudecken. Gary Marcus nannte dies auf Substack eine „rote Linie für die Sicherheit“ und argumentierte, die Lesbarkeit von Gedankengängen für Leistungssteigerungen zu opfern, sei „ein gefährliches Spiel“.garymarcus.substack+1

OpenAI weist die Darstellung zurück

Jakub Pachocki, Forschungschef von OpenAI, reagierte auf X und erklärte, er wolle „einen durch verwirrende Berichterstattung ausgelösten Wettlauf in die Unüberwachbarkeit verhindern“. Er argumentierte, dass die Tiefe von Astras Berechnungsgraph innerhalb eines Faktors von zwei im Vergleich zu GPT-4 liege und dass OpenAI seit seinen ersten Denkmodellen „daran gearbeitet hat, die Überwachung von Gedankengängen zu bewahren und zu nutzen“. Er räumte jedoch ein, dass die Überwachung von Gedankengängen „fragil ist und sich leider in eine negative Richtung entwickelt“.chaincatcher+1

Berichten zufolge hat OpenAI das Ausmaß, in dem Astra die rekursive Tiefe nutzt, begrenzt, um lesbare Gedankengänge zu erhalten, und plant, bei der Veröffentlichung zusätzliche Überwachungsmaßnahmen einzuführen. Das Unternehmen bestätigte am 31. August, dass Astra sein erstes Modell ist, das die Schwelle für „kritische“ Cybersicherheitsfähigkeiten im Rahmen seines Preparedness Frameworks erreicht. Das bedeutet, dass es autonom Zero-Day-Schwachstellen finden und ausnutzen kann.kucoin+2

Eine Vorhersage trifft früher ein als erwartet

Die Entwicklung erregt besondere Aufmerksamkeit, da sie stark an ein Szenario erinnert, das im April 2025 in dem Essay „AI 2027“ vom ehemaligen OpenAI-Forscher Daniel Kokotajlo und Co-Autoren beschrieben wurde. Dieser Essay sagte einen Übergang zur „Neuralese-Rekursion“ voraus, die die Denkprozesse von Modellen aus dem lesbaren Text verlagern würde. Allerdings war dies erst für März 2027 prognostiziert worden und ging davon aus, dass dafür Tausende von automatisierten KI-Forschern nötig wären. Kokotajlo reagierte auf die Nachricht mit dem Post: „Holy shit f*ck.“ Sollte der Bericht von The Information zutreffen, könnte eine Version des von ihm prognostizierten Szenarios rund 18 Monate früher als geplant in einem fertigen Produkt auf den Markt kommen.officechai