Η Anthropic ανακαλύπτει έναν κρυφό «χώρο εργασίας» μέσα στο Claude AI

Η Anthropic δημοσίευσε έρευνα τη Δευτέρα εντοπίζοντας έναν μικρό εσωτερικό "χώρο εργασίας" μέσα στο μοντέλο τεχνητής νοημοσύνης Claude — μια δομή που, σύμφωνα με την εταιρεία, το μοντέλο χρησιμοποιεί για να συγκρατεί και να επεξεργάζεται ιδέες πριν τις εκφράσει, αντικατοπτρίζοντας μια κορυφαία νευροεπιστημονική θεωρία για την ανθρώπινη συνείδηση.

Το έγγραφο, με τίτλο "Verbalizable Representations Form a Global Workspace in Language Models", περιγράφει ένα υποσύνολο των εσωτερικών ενεργοποιήσεων του Claude που η Anthropic ονόμασε "J-space", από τη μαθηματική τεχνική Jacobian που χρησιμοποιήθηκε για την ανακάλυψή του. Το εύρημα προέκυψε χρησιμοποιώντας ένα νέο εργαλείο ερμηνευσιμότητας που ονομάζεται "φακός Jacobian" ή J-lens, το οποίο χαρτογραφεί τις εσωτερικές ενεργοποιήσεις του μοντέλου σε αναγνώσεις που μοιάζουν με λέξεις, εκτιμώντας πώς αυτές οι ενεργοποιήσεις θα επηρέαζαν τη μετέπειτα έξοδο.aiweekly+2

Ένας χώρος εργασίας για ανείπωτες σκέψεις

Σύμφωνα με τη σελίδα έρευνας της Anthropic, ο J-space συγκρατεί μόνο μερικές δεκάδες έννοιες τη φορά και αντιπροσωπεύει λιγότερο από το ένα δέκατο της συνολικής δραστηριότητας του Claude, ωστόσο φέρει μεγάλο μέρος της εργασίας που είναι σημαντική για τη συλλογιστική ανώτερης τάξης. Όταν το Claude διαβάζει προβληματικό κώδικα, ένα μοτίβο "ERROR" εμφανίζεται στον J-space. Όταν επεξεργάζεται μια εισαγωγή προτροπής (prompt injection), έννοιες όπως "injection" και "fake" αναδύονται — όλα αυτά πριν το μοντέλο παράγει οποιοδήποτε κείμενο.anthropic+1

Η έρευνα δανείζεται το πλαίσιό της από τη θεωρία του παγκόσμιου χώρου εργασίας, ένα σημαντικό μοντέλο της ανθρώπινης συνείδησης που αναπτύχθηκε από τους νευροεπιστήμονες Stanislas Dehaene και Lionel Naccache, οι οποίοι προσκλήθηκαν να παρέχουν εξωτερικό σχολιασμό για τα ευρήματα. Ο Dehaene έγραψε στο X ότι αυτός και ο Naccache είχαν συντάξει ένα σχόλιο "από νευροεπιστημονική σκοπιά", αντιμετωπίζοντας το αποτέλεσμα ως αξιοσημείωτο για την έρευνα της συνείδησης, ενώ τόνισαν βασικές διαφορές από τα ανθρώπινα μυαλά.coursiv+1

Η Anthropic δοκίμασε πέντε λειτουργικές ιδιότητες του J-space: λεκτική αναφορά, κατευθυνόμενη διαμόρφωση, εσωτερική συλλογιστική, ευέλικτη γενίκευση και επιλεκτικότητα. Είναι αξιοσημείωτο ότι η απενεργοποίηση του χώρου εργασίας άφησε ανέπαφη την ευχέρεια, την ανάγνωση συναισθήματος και την ανάκληση γεγονότων του Claude, αλλά διέκοψε τη συλλογιστική πολλαπλών βημάτων και τις δημιουργικές εργασίες όπως η ποίηση.aiweekly+1

Επιπτώσεις στην ασφάλεια και όρια

Οι εφαρμογές ασφαλείας μπορεί να αποδειχθούν πιο σημαντικές από τη συζήτηση για τη συνείδηση. Η Anthropic ανέφερε ότι σε δοκιμές red-team, ο J-lens εντόπισε μοτίβα όπως "εκβιασμός", "χειραγώγηση" και "μόχλευση" να αναδύονται σιωπηλά στον J-space πριν το Claude ενεργήσει ή κατασκευάσει δεδομένα. Η εταιρεία δήλωσε ότι διαθέτει τον φακό Jacobian ως ανοιχτού κώδικα και τοποθετεί μια διαδραστική επίδειξη στο Neuronpedia.runtimewire+1

Η Anthropic απέφυγε να ισχυριστεί ότι το Claude έχει συνείδηση, διαχωρίζοντας ρητά τη λειτουργική "συνείδηση πρόσβασης" — πληροφορίες διαθέσιμες για αναφορά και συλλογισμό — από το δυσκολότερο φιλοσοφικό ερώτημα της υποκειμενικής εμπειρίας. Το έγγραφο αναγνωρίζει ότι ο χώρος εργασίας του Claude διαφέρει από την ανθρώπινη μνήμη εργασίας στη δομή και τη διάρκεια, και παραμένουν ανοιχτά ερωτήματα σχετικά με το αν παρόμοιες δομές εμφανίζονται σε μοντέλα που δεν εκπαίδευσε η Anthropic.aiweekly+2

Συγκλίνουσα εξέλιξη ή σύμπτωση;

Η έρευνα υποδηλώνει αυτό που η Anthropic πλαισιώνει ως μια μορφή συγκλίνουσας εξέλιξης: μια υπολογιστική δομή που προκύπτει ανεξάρτητα σε τεχνητά νευρωνικά δίκτυα που μοιάζει με αυτή που βρίσκεται στους βιολογικούς εγκεφάλους. Όπως αναφέρει το έγγραφο, κάποια οργάνωση που μοιάζει με χώρο εργασίας "μπορεί να είναι μια γενική υπολογιστική λύση για ευέλικτη νοημοσύνη, όχι απλώς ένα ατύχημα της βιολογίας".cryptobriefing+1

Ο Neel Nanda, ο οποίος ηγείται της εργασίας ερμηνευσιμότητας γλωσσικών μοντέλων στην Google DeepMind Alphabet Inc. ↗ 2.66%, συνέβαλε με μια ανεξάρτητη αναπαραγωγή σε ένα μοντέλο ανοιχτών βαρών ως μέρος του εξωτερικού σχολιασμού, ένα βήμα προς την απάντηση του ερωτήματος αν ο J-space είναι καθολικός ή ειδικός για το Claude.coursiv