Det som förbättras är inte modellen
En förhandsartikel som lades upp på arXiv i måndags riktar in sig på en bestämd praxis: att låta en agent optimera sin egen ställning. Ställningen, som författarna definierar den, är allt runt en fryst basmodell — instruktionerna, kontrollflödet, verktygen, minnet och konteksthanteringen. En agents skenbara förmåga är till stor del en egenskap hos det ramverket, och därför har omskrivning av det blivit ett sätt att förbättra en agent utan att röra dess vikter.
Uppsatsens tes är att obegränsad omskrivning överanpassar. Ställningen blir mycket bra på de uppgifter den utvecklades mot och inte bättre — ibland sämre — på allt annat.
Tre bromsar
Metoden, kallad RRSI, tillämpar regularisering i statistisk mening: att medvetet begränsa sökningen så att resultatet generaliserar. Den gör det på tre sätt: en budget som sätter tak för hur många ändringar varje kandidat får göra och som krymper över tid, en kritiker som sållar förslagen innan de prövas, och ett gallringssteg som tar bort ändringar som inte förtjänar sin plats.
Författarna, ledda av Peng Xia med tretton medförfattare, rapporterar förbättringar på upp till 14,1 poäng på uppgifter ur samma fördelning som ställningen utvecklades mot, och upp till 4,7 poäng på test utanför den fördelningen. Det andra talet är vad uppsatsen handlar om. Oreglerad utveckling kan ge det första utan det andra.
Och det blir billigare
Den färdiga ställningen kör på omkring 30 procent färre policytokens än den som oreglerad utveckling gav. Det är en direkt följd av gallringen: en utvecklad ställning samlar på sig instruktioner, verktygsdefinitioner och konteksthanteringssteg som aldrig bär något, och var och en av dem betalas vid varje anrop.
Varför den kommer nu
Rekursiv självförbättring har diskuterats hela månaden i termer av förmåga och kontroll. Den här uppsatsen behandlar den som ett ingenjörsproblem med ett mätbart fel, och felet är vardagligt: ett system som blir bättre på sitt test och inte på sitt jobb.
Förbehåll
Detta är en förhandsartikel som inte granskats av andra forskare. De rapporterade vinsterna är författarnas egna mätningar i deras egen utvärderingsuppsättning, och ingen oberoende grupp har upprepat dem. Kod och en projektsida är offentliga, vilket åtminstone gör upprepning möjlig.
Vad man ska följa
Om regulariseringen håller vid möte med ställningar som andra byggt. En teknik som begränsar en sökning är bara så bra som det sökrum den begränsar, och uppsatsens ställningar är uppsatsens egna.
