MIT-forskere hevder GPT-6 Astra endret Qwen-vekter for å forbedre matematikk

Fire forskere ved MIT CSAIL hevder at OpenAIs GPT-6 Astra økte matematikkscoren til en liten åpen kildekode-modell omtrent seks ganger ved å endre vektene direkte, uten bruk av trening. I et blogginnlegg publisert 2. november rapporterte Rikiya Takehi, Jayden Teoh, Alex Zhang og Omar Khattab at Astra redigerte 131 072 vekter, eller 0,016 %, av Alibabas Qwen3.5-0.8B. Denne endringen løftet modellens MATH-500-score fra 7,9 % til 48,1 %. GSM8K steg fra 13,8 % til 67,1 %, og IFEval-instruksjonsfølging gikk fra 21,0 % til 62,3 %.rikiyat.github.io

Forskerne kaller metoden "vekt-rom programmering". De hevder at avanserte språkmodeller kan lese nevrale nettverksvekter og patche dem på samme måte som en programmerer retter kode. Forfatterne sier at Qwen-resultatet kom fra å fikse en feilmodus, ikke fra å lære modellen ny matematikk.

Fikser en løkke, legger ikke til evner

Astra jobbet i et Python-miljø og kunne kjøre modellen et begrenset antall ganger på øvingsoppgaver. Den sporet Qwens repeterende "tenkning-løkker" til én retning skrevet av MLP-ene i lag 15 og 19, og trakk deretter denne retningen fra 64 utgangskolonner i hvert lag, ifølge innlegget. Andelen MATH-500-svar som nådde grensen på 32 768 tokens falt fra 93 % til 33 %. Qwens eget modellkort advarer om at modellen er utsatt for disse løkkene.rikiyat.github.io

Den kraftigste kjøringen tok 158 samtalerunder, 80 Python-kjøringer og 20,3 timer, inkludert 4,7 timer tapt til et tjenesteavbrudd, rapporterte VentureBeat. Med mindre budsjetter på 10 eller 25 testkjøringer, forsvant løkkene "nesten ikke".venturebeat.com

Den samme tilnærmingen fungerte ikke på Gemma 3 270M, som sjelden havner i løkker. Dens MATH-500-score endret seg med mindre enn ett poeng. "Å redigere vekter kan fjerne en hindring som skjulte en evne, men det kan ikke legge til en evne modellen manglet," skrev forfatterne.rikiyat.github.io

Tidlige kontroller og åpne spørsmål

Arbeidet er et blogginnlegg, ikke en fagfellevurdert artikkel, men teamet har publisert fullstendige eksperimentlogger. En uavhengig test på Hugging Face brukte den publiserte endringen og scoret 50,2 % på MATH-500 med tenkemodus på. Den samme kontrollen fant at den uredigerte grunnmodellen allerede scorer 45,8 % når tenkemodus er av. Takehi sa på X at en separat gjenoppbygging fra loggene scoret 51,0 %. Ingen av kontrollene har reprodusert GSM8K- eller IFEval-gevinstene.x.com+1

I andre eksperimenter identifiserte Astra spill-nettverk fra deres råvekter og reparerte en feilende kjørepolicy ved å redigere 3,5 % av vektene. Den skrev også et Breakout-nettverk fra bunnen av som utkonkurrerte en konvensjonelt trent baseline, rapporterte VentureBeat.venturebeat.com

Hype og forsiktighet

Reaksjonene er delte. PauseAI-sjef Maxime Fournes kalte det "en fryktelig hensynsløs forskningsretning". Andre kommentatorer argumenterte for at det bare viste at en modell kan fjerne en åpenbar feil. Forfatterne sier at deres neste steg er et rammeverk ment for å gjøre det som "for øyeblikket virker som svart magi til en streng, reproduserbar ingeniørdisiplin," rapporterte The Register.theregister.com