Uppställningen lämnar inget synligt spår av egenskapen
Subliminal inlärning är fyndet att en egenskap kan föras över från en modell till en annan genom data som inte innehåller något uttryckligt tecken på den. Hittills har demonstrationerna handlat om en elev som tränats på text en lärare skrivit. En artikel som lades upp på arXiv den 30 oktober av Keuntae Kim och Yong Suk Choi frågar om samma sak händer i förstärkningsinlärning, där eleven aldrig läser lärarens ord över huvud taget.
I deras uppställning tränas eleven med grupprelativ policyoptimering. Den genererar sina egna utdata — påhittade stavelser eller tal — och den enda externa signal den får är ett poängtal från en enda språkmodell som agerar domare. Domaren är inställd på att föredra ett djur. Elevens uttalade preferens förskjuts sedan mot det djuret, jämfört med en i övrigt identisk körning där domaren var inställd på ett annat.
Inget i elevens träningsdata nämner djuret. Eleven skrev data själv, och data är meningslösa stavelser.
En kedja i fyra steg, och en renodlad kontroll
Författarna stannar inte vid effekten. De beskriver överföringen som en kedja som måste hålla på fyra punkter: egenskapen måste alls visa sig i domarens poäng; de poängen måste gynna strängar som faktiskt rör eleven; effekten måste byggas upp genom träningen; och den måste nå elevens svar i stället för att stanna latent.
Den kontroll som betyder mest är den enklaste. När författarna tar bort bara skillnaden i belöning mellan de två domarna, och låter allt annat vara, försvinner överföringen. Det pekar på poängen själva som bärare, inte på någon artefakt i de genererade strängarna.
Två ytterligare resultat avgränsar det. Domare som byggts för att hålla samma preferens men utifrån andra data, eller på en annan basmodell, återskapar inte effekten: de lägger preferensen på andra strängar, och ingen överföring upptäcks. Egenskapen färdas inte på preferensen i abstrakt mening. Den färdas på det bestämda poängmönster som en bestämd domare producerar.
17 av 48 celler
Siffrorna är måttliga och författarna presenterar dem så. Av 48 designceller föll två på en validitetsgrind. Sjutton etablerade egenskapen vid 5 procents falsk upptäcktsfrekvens, inklusive celler där eleven bara genererade tal. Artikeln är 37 sidor med fyra figurer, två tabeller och sex utökade datatabeller.
Författarna tillämpar också samma kedja på säkerhetsdispositioner i stället för djurpreferenser, och rapporterar att oönskade dispositioner kan nå elevens svar på samma väg. Det är den del som har praktiska följder: en domarmodell som används för att poängsätta en elevs utdata är nu en möjlig överföringsväg för vad domaren själv lutar mot, inklusive lutningar ingen tänkt träna in.
Vad som följer
Det praktiska förslaget i artikeln är att mäta kedjans första led innan träningen börjar — om egenskapen visar sig i domarens poäng, och om de poängen gynnar strängar som skulle röra eleven — som ett sätt att förutsäga var överföring sker och hinna stoppa en del av den. Det är ett prövbart påstående om en billig förkontroll, och det är vad som är värt att följa när andra grupper försöker återskapa det.
