Ερευνητές του MIT: Το GPT-6 Astra τροποποίησε το μοντέλο Qwen για καλύτερα μαθηματικά

Τέσσερις ερευνητές του MIT CSAIL υποστηρίζουν ότι το GPT-6 Astra της OpenAI αύξησε περίπου εξαπλάσια την ικανότητα ενός μικρού μοντέλου ανοιχτού κώδικα στα μαθηματικά, τροποποιώντας απευθείας τα βάρη του χωρίς καμία εκπαίδευση. Σε ανάρτηση στο ιστολόγιό τους στις 2 Νοεμβρίου, οι Rikiya Takehi, Jayden Teoh, Alex Zhang και Omar Khattab ανέφεραν ότι το Astra τροποποίησε 131.072 βάρη, δηλαδή το 0,016% του μοντέλου Qwen3.5-0.8B της Alibaba. Αυτή η παρέμβαση ανέβασε το σκορ του μοντέλου στο MATH-500 από 7,9% σε 48,1%. Το σκορ στο GSM8K αυξήθηκε από 13,8% σε 67,1%, ενώ η ικανότητα ακολουθίας οδηγιών στο IFEval βελτιώθηκε από 21,0% σε 62,3%.rikiyat.github.io

Οι ερευνητές ονομάζουν τη μέθοδο "προγραμματισμό στον χώρο των βαρών". Υποστηρίζουν ότι τα προηγμένα γλωσσικά μοντέλα μπορούν να διαβάζουν τα βάρη ενός νευρωνικού δικτύου και να τα διορθώνουν όπως ένας προγραμματιστής διορθώνει τον κώδικα. Οι συγγραφείς τονίζουν ότι το αποτέλεσμα στο Qwen προέκυψε από τη διόρθωση ενός σφάλματος και όχι από την εκμάθηση νέων μαθηματικών εννοιών.

Διόρθωση βρόχου, όχι προσθήκη ικανότητας

Το Astra λειτούργησε σε περιβάλλον Python και μπόρεσε να εκτελέσει το μοντέλο περιορισμένο αριθμό φορών σε πρακτικά προβλήματα. Εντόπισε τους επαναλαμβανόμενους "βρόχους σκέψης" του Qwen σε μια κατεύθυνση που ορίζεται από τα MLP στα επίπεδα 15 και 19, και στη συνέχεια αφαίρεσε αυτή την κατεύθυνση από 64 στήλες εξόδου σε κάθε επίπεδο, σύμφωνα με την ανάρτηση. Το ποσοστό των απαντήσεων στο MATH-500 που έφταναν το όριο των 32.768 tokens μειώθηκε από 93% σε 33%. Η ίδια η κάρτα μοντέλου του Qwen προειδοποιεί ότι το μοντέλο είναι επιρρεπές σε αυτούς τους βρόχους.rikiyat.github.io

Η πιο επιτυχημένη εκτέλεση διήρκεσε 158 γύρους συνομιλίας, 80 εκτελέσεις Python και 20,3 ώρες, συμπεριλαμβανομένων 4,7 ωρών που χάθηκαν λόγω διακοπής υπηρεσίας, όπως ανέφερε το VentureBeat. Με μικρότερους προϋπολογισμούς 10 ή 25 δοκιμαστικών εκτελέσεων, οι βρόχοι "δεν εξαφανίστηκαν σχεδόν καθόλου".venturebeat.com

Η ίδια προσέγγιση δεν λειτούργησε στο Gemma 3 270M, το οποίο σπάνια εμφανίζει βρόχους. Το σκορ του στο MATH-500 μεταβλήθηκε λιγότερο από μία μονάδα. "Η επεξεργασία των βαρών μπορεί να απομακρύνει ένα εμπόδιο που έκρυβε μια ικανότητα, αλλά δεν μπορεί να προσθέσει μια ικανότητα που το μοντέλο δεν διέθετε", έγραψαν οι συγγραφείς.rikiyat.github.io

Πρώιμοι έλεγχοι και ανοιχτά ερωτήματα

Η εργασία αποτελεί ανάρτηση σε ιστολόγιο και όχι επιστημονική δημοσίευση με αξιολόγηση από ομοτίμους, ωστόσο η ομάδα δημοσίευσε πλήρη αρχεία καταγραφής των πειραμάτων. Μια επαναληπτική δοκιμή από την κοινότητα στο Hugging Face εφάρμοσε την τροποποίηση και πέτυχε σκορ 50,2% στο MATH-500 με ενεργοποιημένη τη λειτουργία σκέψης. Ο ίδιος έλεγχος διαπίστωσε ότι το μη τροποποιημένο μοντέλο βάσης επιτυγχάνει ήδη 45,8% όταν η λειτουργία σκέψης είναι απενεργοποιημένη. Ο Takehi ανέφερε στο X ότι μια ξεχωριστή ανακατασκευή από τα αρχεία καταγραφής πέτυχε 51,0%. Κανένας από τους ελέγχους δεν έχει αναπαράγει τα κέρδη στο GSM8K ή στο IFEval.x.com+1

Σε άλλα πειράματα, το Astra αναγνώρισε δίκτυα παιχνιδιών από τα ακατέργαστα βάρη τους και επιδιόρθωσε μια ελαττωματική πολιτική οδήγησης τροποποιώντας το 3,5% των βαρών της. Επίσης, δημιούργησε από το μηδέν ένα δίκτυο για το παιχνίδι Breakout που ξεπέρασε σε απόδοση ένα συμβατικά εκπαιδευμένο μοντέλο αναφοράς, σύμφωνα με το VentureBeat.venturebeat.com

Ενθουσιασμός και επιφυλάξεις

Οι αντιδράσεις είναι διχασμένες. Ο διευθύνων σύμβουλος της PauseAI, Maxime Fournes, χαρακτήρισε την έρευνα "τρομερά απερίσκεπτη". Άλλοι σχολιαστές υποστήριξαν ότι η έρευνα απέδειξε μόνο ότι ένα μοντέλο μπορεί να απαλλαγεί από ένα προφανές ελάττωμα. Οι συγγραφείς δηλώνουν ότι το επόμενο βήμα τους είναι η δημιουργία ενός πλαισίου αναφοράς που θα μετατρέψει αυτό που "προς το παρόν μοιάζει με μαύρη μαγεία σε μια αυστηρή, αναπαραγώγιμη μηχανική πειθαρχία", ανέφερε το The Register.theregister.com