En artikel som skickades till arXiv den 29 september föreslår något enklare än det mesta av forskningen om kontexthantering: sluta behandla en modells kontext som ett protokoll man bara kan lägga till i, och börja behandla den som en fil modellen får redigera.
Författarna — en grupp där Rulin Shao, Mike Lewis, Luke Zettlemoyer och Pang Wei Koh ingår — kallar resultatet kontextspråkmodeller, eller CLM. Kontexten speglas i ett lagringsutrymme modellen får skriva till. Modellen kan lägga till nygenererade tokens, eller använda Bash för att redigera filen fritt, och varje ändring synkas omedelbart tillbaka in i den aktiva kontexten.
Resultatet
På BrowseComp-Plus, ett test för djupgående research, når en CLM 11,4 procent högre träffsäkerhet än den starkaste jämförelsen samtidigt som den använder 21,5 procent färre FLOPs för återanvändning av prefix. Att den är både bättre och billigare är det som gör artikeln intressant, eftersom kontexthantering annars brukar vara en avvägning: sammanfatta för att spara tokens och tappa detaljer, eller behålla allt och betala för det.
Tränad på djupgående researchuppgifter går Qwen3.5-9B från 28,8 till 42,5 procent på samma test med CLM-uppsättningen. Det slår en sammanfattningslösning i Codex-stil tränad med samma recept med 0,4 enheter, och gör det med 38,8 procent färre FLOPs — en knapp vinst på träffsäkerhet och en stor på kostnad.
Hur den tränas och styrs
Författarna lägger till en framgångsvillkorad effektivitetsfördel i stegvis GRPO, som belönar effektiva förlopp bland dem som faktiskt lyckades i stället för att belöna korthet i sig. De visar också att beteendet kan styras på vanligt språk: instruktioner som utvecklats genom en vanlig slinga för färdighetsoptimering förbättrade träffsäkerheten på undanhållna data med upp till 35,9 enheter i en uppgift om kontexthantering, samtidigt som beräkningskostnaden sjönk.
En serveringsoptimering som kallas Suffix Cache Reuse besvarar den uppenbara invändningen, nämligen att en redigering mitt i en kontext förstör den prefixcache som gör inferens med lång kontext överkomlig.
Varför det betyder något bortom testet
Konstruktionen sträcker sig naturligt till multiagentsystem, där flera agenters kontexter samexisterar som separata filer. Det ligger nära hur dagens generation av kodagenter redan arbetar i praktiken, med anteckningsfiler vid sidan om, utom att modellens eget arbetsminne här är filen i stället för en nödlösning bredvid den.
Vad som är värt att följa
Om något frontlabb bygger in mekanismen i stället för att publicera den. Artikelns kod släpps under en icke-kommersiell licens, vilket begränsar vem som kan bygga vidare på den direkt.
