De två problemen
Att träna en agent med förstärkningsinlärning över en lång följd av turer stöter på två svårigheter, och en artikel som lades upp på arXiv den 16 oktober av forskare vid Tsinghuauniversitetet och Tencents avdelning för grundmodeller försöker lösa båda på en gång.
Den första är kredittilldelning. När den enda belöningen kommer i slutet av en bana är signalen som kan tillskrivas en enskild tur, med författarnas ord, ”gles och med hög varians”. Den andra är att policyn blir inaktuell: när en fast omgång utrullningar förbrukas i sekventiella uppdateringar i miniomgångar driver den policy som tränas bort från den beteendepolicy som producerade data.
De vanliga lösningarna lägger var och en till något. Tätare kredit kommer från inlärda kritiker, processbelöningsmodeller eller destillation på policyn — vilket kräver respektive ett värdenätverk, märkning på stegnivå eller en starkare extern lärare. Viktighetsurval och klippning begränsar driften, men artikelns invändning är exakt: de ”anger inte något ändligt mål som hindrar sekventiella uppdateringar från att skjuta över”.
Vad TreeOPSD gör i stället
Metoden heter TreeOPSD, kort för trädmedveten posterior självdestillation, och författarna beskriver den som fri från kritiker.
Den behandlar varje interaktionstur som en nod i ett träd. Från gemensamma prefix förgrenar den alternativa fortsättningar och för sedan rekursivt slutbelöningarna uppåt i trädet till det artikeln kallar implicit kredit på turnivå. Inget separat värdenätverk skattar den krediten; den faller ut ur utrullningarnas egen struktur.
Den andra halvan är destillationen. Varje kredit avbildas på en sluten och begränsad lärarfördelning, parametriserad av sannolikhetskvoten i förhållande till den frysta beteendepolicyn. Träningen minimerar sedan divergensen mellan den läraren och elevpolicyn. Författarnas anspråk för konstruktionen är att den ”återskapar policygradientens riktning som tangenten vid beteendepolicyn samtidigt som den begränsar uppdateringarna mot ett ändligt mål över sekventiella miniomgångar” — den beter sig alltså lokalt som en policygradient samtidigt som den ger det ändliga mål som viktighetsurval och klippning inte ger.
Läraren är modellens eget frysta tidigare jag, och det är det som gör det till självdestillation snarare än destillation från en starkare modell.
Siffran
Huvudresultatet i sammanfattningen är snävt och specifikt: TreeOPSD höjer den genomsnittliga träffsäkerheten för Qwen3-30B-A3B-Thinking-2507 med 4,97 poäng jämfört med GRPO i inställningen för djup research. Författarna säger att förbättringarna syns över flera konkurrensutsatta måttstockar och modellstorlekar, och är störst på uppgifter med lång horisont.
Det är författarnas egna siffror, redovisade i en förtryckt artikel som inte genomgått kollegial granskning. Basmodellen är Alibabas; artikeln är listad under maskininlärning, artificiell intelligens samt databehandling och språk.
Vilka som skrivit den
Tio författare anges: Heming Zou, Qi Wang, Yixiu Mao, Yun Qu, Yuyi Guo, Zeyuan Liu, Chenglin Li, Weijie Liu, Saiyong Yang och Xiangyang Ji, fördelade på Tsinghuauniversitetet och avdelningen för grundmodeller hos Tencent. Tre av dem gjorde arbetet under praktik hos Tencent.
Varför det spelar roll
Den praktiska lockelsen är subtraktion. Ett värdenätverk är ännu en modell att träna, driva och hålla i takt; märkning på stegnivå är dyr att ta fram; och att destillera från en starkare lärare är bara möjligt för den som har den starkare läraren. En metod som når tätare kredit enbart ur utrullningsträdet tar bort alla tre beroendena, vilket betyder mest för team som inte sitter på en frontmodell.
Det som bör följas är om resultatet överlever kontakt med andras agenter. Anspråket är ett enda medelvärde på en modellfamilj i en inställning, och provet på en träningsmetod är om en andra grupp återskapar förbättringen på en stack de byggt själva.
