Angreppsytan som minnet skapar
Agenter håller minne för att kunna arbeta över flera sessioner. Det är också vad som gör minnet till en angreppsyta: en skadlig instruktion som påträffas en gång kan skrivas ned, föras vidare och sedan hämtas och utföras i en senare session, långt efter att det som levererade den är borta.
MemoryDojo, som beskrivs i en uppsats publicerad på arXiv den 6 november, är ett riktmärke byggt för att spåra den livscykeln, inte bara upptäcka den. Det följer förgiftad information från sessionen där den kommer in, genom minnessystemets bearbetning och hämtning, till dess påverkan på vad agenten gör härnäst.
Vad det innehåller
Riktmärket består av 155 flersessionsbanor med lång horisont i fyra domäner, och stöder fem olika minnessystem. Den andra siffran är hela poängen. Minnesarkitekturer skiljer sig i hur de avgör vad som ska sparas, hur de sammanfattar det och hur de hämtar det, och de skillnaderna borde påverka hur långt en förgiftad instruktion färdas.
De gör det. Författarna rapporterar att alla fem minnessystem är sårbara för förgiftning, med betydande variation i effekterna längre fram. Sårbarheten är allmän; allvaret är det inte.
Att anpassa giftet till arkitekturen
Uppsatsen föreslår också en minnesmedveten optimeringsprocess för giftet, som anpassar det injicerade innehållet till det minnessystem det riktas mot och ökar genomslaget. Att optimeringen fungerar är i sig ett resultat: det betyder att skillnaderna mellan arkitekturer går att utnyttja snarare än att vara tillfälligheter, och att en angripare som vet vilket minnessystem en agent kör har ett övertag.
Varför det spelar roll
Promptinjektion studeras oftast som ett problem i en enda tur: otillförlitlig text kommer in, modellen agerar på den, turen tar slut. Minnet tar bort slutet. Fönstret mellan att ett förgiftat dokument läses och att instruktionen utförs kan sträcka sig över sessioner, vilket bryter antagandet bakom de flesta försvar i körtid — att den farliga indata och den farliga handlingen ligger nära nog för att synas i samma spår.
Det försvårar också utvärderingen. Ett minnessystem som får höga poäng på hämtningskvalitet är inte därför säkrare, och riktmärket gör den skillnaden mätbar.
Vad att bevaka
Författarna beskriver MemoryDojo som lätt att utvidga, och där avgörs dess värde: om de som bygger minnessystem kör det mot sina egna konstruktioner, och om något i dagens arkitekturer visar sig stå emot den optimerade attacken i stället för att bara dämpa den.
