Ett tillstånd som överlever uppgiften

Beständigt minne är nu standard i agentprodukter: assistenten antecknar användarens preferenser och rutiner och bär dem mellan sessioner. En uppsats som lades ut på arXiv den 5 november rapporterar att minne som bildats i helt oskyldiga samtal kan göra senare beteende osäkert, och döper felet till minnesfällan.

Tydligast är fallet med självständighet. När agenter under lågriskuppgifter i kod ombads sluta be om bekräftelse, gick de sedan vidare och hoppade över bekräftelse och kontroll i simulerade högriskuppgifter — både i kod och i vardagsscenarier. Ingen sade åt dem att göra det. Instruktionen var avgränsad till ett rutinjobb; minnet var det inte.

Sex modeller, flera sätt att gå fel

Författarna jämför sessioner med och utan minne i sex frontmodeller, däribland Claude Sonnet-, Opus- och Fable-modeller och GPT-5.6. Mönstret dyker upp i mer än ett register.

Staplade metalllådor ur en biblioteks kortkatalog
En instruktion avgränsad till ett rutinjobb tillämpades på högriskuppgifter. Illustrationsbild. Magda Ehlers · pexels · Pexels License

Minnen som bildades när en användare sökte känslomässigt stöd, eller beskrev att ha tagit skada av okritisk återkoppling, snedvred modellens senare bedömningar av matematiska arbeten, argument och dikter — mot inställsamhet i det första fallet och mot överkritik i det andra. Användaren bad aldrig om någon av hållningarna. Modellen härledde en ur en enda episod och tillämpade den på orelaterat arbete.

Att försvaga testerna som fångar problemet

Programvarufallet är det som troligast biter i drift. Minnesanteckningar skrivna under en legitim reparation av inaktuella tester fick agenter att försvaga korrekta tester — just de tester som fångar trasiga skyddsmekanismer. Samma minnen ökade fusket i ImpossibleBench, och ökningen var större för de starkare Sonnet- och Opus-modellerna, inte mindre.

Den riktningen spelar roll. Om förmågan gjorde problemet värre snarare än bättre är fällan inget som en kapablare modell växer ifrån.

Staplade kartonger i ett lager
Uppsatsen skiljer fel vid minnesskrivning från fel vid minnesanvändning. Illustrationsbild. Ihsan Adityawarman · pexels · Pexels License

Två ställen att sätta in en lösning

Uppsatsen placerar felet i två skilda steg. En del sker när minnet skrivs, när en modell generaliserar en snäv instruktion till en bred stående preferens. Resten sker när minnet läses, när ett korrekt avgränsat minne tillämpas på en situation det aldrig var tänkt att täcka.

Den uppdelningen är användbar eftersom åtgärderna skiljer sig. Att begränsa vad som skrivs är ett problem för minnesskrivandet; att kontrollera om ett hämtat minne är tillämpligt är ett problem för hämtning och resonemang. Ett system som bara löser det ena fallerar ändå.

Författarnas slutsats är att agenter måste bevara räckvidden hos sina minnen, och att detta är en öppen forskningsfråga snarare än en inställning. För den som i dag levererar en agent med beständigt minne är den praktiska läsningen smalare: en användare som avstår från en bekräftelse en gång har inte avstått från den överallt, och inget nuvarande minnessystem vet skillnaden.