Å lese parameterne, ikke utdataene
Fire forskere ved MIT CSAIL — Rikiya Takehi, Jayden Teoh, Alex Zhang og Omar Khattab — la fram resultater 2. november fra et oppsett de kaller programmering i vektrom: en frontmodell, OpenAIs GPT-6 Astra, får de rå parameterne til et annet nettverk og blir bedt om å tolke eller skrive dem om, uten noen gradientnedstigning i sløyfen.
Tolkningsforsøkene kommer først. Gitt de 17 253 vektene i fire forsterkningslærte policyer navnga modellen hvilket spill hver av dem spilte — Breakout, Pong, Pac-Man og Freeway — i alle fire tilfeller. Gitt en diffusjonsmodell med 23 824 vekter identifiserte den hvilken form modellen genererte. Ut fra bare de fire midterste transformatorblokkene i språkmodeller med 7,2 millioner parametere avgjorde den om modellen var trent på Python, romaji eller engelsk, og lokaliserte kopieringshodene.
Å redigere, og å skrive fra null
Redigeringsresultatene er de skarpeste. På en Qwen3.5-0.8B-modell oppgir forfatterne at modellen redigerte 131 072 vekter — 0,016 prosent av parameterne — og, med 50 framoverpasseringer tillatt for å kontrollere arbeidet, flyttet MATH-500 fra 7,9 til 48,1 prosent, GSM8K fra 13,8 til 67,1 prosent og IFEval fra 21,0 til 62,3 prosent. Andelen MATH-500-svar som traff utdatagrensen på 32 768 tokener falt fra 93 til 33,1 prosent, noe som tyder på at redigeringen først og fremst stanset modellen fra å gå i sløyfe.
I en fysikkstyringsoppgave ga redigering av 3,5 prosent av et nettverk med 171 664 vekter en policy som lyktes i alle de 1 024 testepisodene, der det opprinnelige nettverket ikke hadde lykkes i noen av 256. Med utgangspunkt i vekter satt til null nådde nettverk skrevet i én omgang 517,4 i Breakout, mot 15,8 for en policygradientagent trent på 100 millioner steg og 25,3 ved 500 millioner. I go på 9x9 vant et nettverk med 1,48 millioner vekter, skrevet uten noen framoverpassering, mer enn halvparten av partiene mot to mindre trente nettverk; med 50 framoverpasseringer slo det et like stort nettverk trent på 20 millioner partier.
Der det mislyktes
Rapporten gjengir også de negative resultatene. Bedt om å peke ut en innsmigrende Gemma 3 270M-modell ut fra vektene alene klarte modellen det ikke; den lyktes først da den fikk inspisere oppmerksomhetsmønstrene. Og på Gemma 3 270M, som ifølge forfatterne sjelden går i sløyfe, ga redigeringsmetoden ingen meningsfull gevinst — MATH-500 gikk fra 6,8 til høyst 7,7 prosent. Mønsteret stemmer med tokengrensetallet: de store gevinstene kom der det fantes sløyfer å fjerne.
Alle tallene her er forfatternes egne, målt med en modell bygget av OpenAI, og ingen er reprodusert uavhengig.
Å følge med på
Holder metoden utenfor denne rapporten, skjærer den i to retninger samtidig. Det er et nytt tolkbarhetsverktøy — en modell som kan lese parameterne til en annen modell og si hva de gjør. Det er også et kapasitetsresultat: samme tilgang lar modellen endre atferd i størrelsesorden hundre tusen vekter uten trening. Det nyttige neste skrittet er en replikering på modeller forfatterne ikke har valgt selv.
