Att läsa parametrarna, inte utdata
Fyra forskare vid MIT CSAIL — Rikiya Takehi, Jayden Teoh, Alex Zhang och Omar Khattab — publicerade resultat den 2 november från en uppställning de kallar programmering i viktrymd: en frontmodell, OpenAI:s GPT-6 Astra, får ett annat nätverks råa parametrar och ombeds tolka eller skriva om dem, utan någon gradientnedstigning i kedjan.
Tolkningsexperimenten kommer först. Givet de 17 253 vikterna i fyra förstärkningsinlärda policyer namngav modellen vilket spel var och en spelade — Breakout, Pong, Pac-Man och Freeway — i samtliga fyra fall. Givet en diffusionsmodell med 23 824 vikter identifierade den vilken form modellen genererade. Utifrån endast de fyra mellersta transformatorblocken i språkmodeller med 7,2 miljoner parametrar avgjorde den om modellen tränats på Python, romaji eller engelska, och lokaliserade kopieringshuvudena.
Att redigera, och att skriva från noll
Redigeringsresultaten är de skarpare. På en Qwen3.5-0.8B-modell uppger författarna att modellen redigerade 131 072 vikter — 0,016 procent av parametrarna — och, med 50 framåtpassningar tillåtna för att kontrollera sitt arbete, flyttade MATH-500 från 7,9 till 48,1 procent, GSM8K från 13,8 till 67,1 procent och IFEval från 21,0 till 62,3 procent. Andelen MATH-500-svar som slog i utdatagränsen på 32 768 token föll från 93 till 33,1 procent, vilket antyder att redigeringen framför allt hindrade modellen från att loopa.
I en fysikstyrningsuppgift gav redigering av 3,5 procent av ett nätverk med 171 664 vikter en policy som lyckades i samtliga 1 024 testepisoder, där det ursprungliga nätverket inte lyckats i någon av 256. Med utgångspunkt i nollställda vikter nådde nätverk skrivna i ett svep 517,4 i Breakout, mot 15,8 för en policygradientagent tränad på 100 miljoner steg och 25,3 vid 500 miljoner. I go på 9x9 vann ett nätverk med 1,48 miljoner vikter, skrivet utan någon framåtpassning, mer än hälften av sina partier mot två mindre tränade nätverk; med 50 framåtpassningar slog det ett jämnstort nätverk tränat på 20 miljoner partier.
Där det misslyckades
Rapporten redovisar även sina negativa resultat. Ombedd att peka ut en inställsam Gemma 3 270M-modell utifrån vikterna enbart kunde modellen inte; den lyckades först när den fick granska uppmärksamhetsmönstren. Och på Gemma 3 270M, som enligt författarna sällan loopar, gav redigeringsmetoden ingen meningsfull förbättring — MATH-500 gick från 6,8 till högst 7,7 procent. Mönstret stämmer med tokengränssiffran: de stora vinsterna kom där det fanns loopar att ta bort.
Alla siffror här är författarnas egna, uppmätta med en modell byggd av OpenAI, och ingen har reproducerats oberoende.
Att följa
Om metoden håller utanför den här rapporten skär den i två riktningar samtidigt. Det är ett nytt tolkbarhetsverktyg — en modell som kan läsa en annan modells parametrar och säga vad de gör. Det är också ett förmågeresultat: samma åtkomst låter modellen ändra beteende i storleksordningen hundratusen vikter utan träning. Nästa användbara steg är en replikering på modeller som författarna inte valt själva.
