La superficie de ataque que crea la memoria

Los agentes guardan memoria para poder trabajar entre sesiones. Eso es también lo que convierte la memoria en superficie de ataque: una instrucción maliciosa encontrada una vez puede quedar anotada, arrastrarse hacia adelante y ser recuperada y ejecutada en una sesión posterior, mucho después de que haya desaparecido lo que la entregó.

MemoryDojo, descrito en un artículo publicado en arXiv el 6 de noviembre, es un banco de pruebas construido para rastrear ese ciclo de vida, no solo para detectarlo. Sigue la información envenenada desde la sesión en que entra, pasando por el procesamiento y la recuperación del sistema de memoria, hasta su influencia en lo que el agente hace después.

Cajas de cartón apiladas
El banco de pruebas abarca 155 trayectorias multisesión en cuatro dominios. Imagen ilustrativa. https://kaboompics.com/ · pexels · Pexels License

Qué contiene

El banco de pruebas consta de 155 trayectorias multisesión de horizonte largo en cuatro dominios, y admite cinco sistemas de memoria distintos. Ese segundo número es el objeto del ejercicio. Las arquitecturas de memoria difieren en cómo deciden qué almacenar, cómo lo resumen y cómo lo recuperan, y esas diferencias deberían cambiar cuánto viaja una instrucción envenenada.

Lo hacen. Los autores informan de que los cinco sistemas de memoria son vulnerables al envenenamiento, con una variación sustancial en los efectos posteriores. La vulnerabilidad es universal; la gravedad no.

Ajustar el veneno a la arquitectura

El artículo también propone un proceso de optimización del veneno consciente de la memoria, que adapta el contenido inyectado al sistema concreto al que se dirige y aumenta su eficacia. Que la optimización funcione es en sí un resultado: significa que las diferencias entre arquitecturas son explotables y no meramente incidentales, y que un atacante que sabe qué sistema de memoria usa un agente lleva ventaja sobre uno que no lo sabe.

Una escalera de ladrillo poco iluminada con pasamanos
Los cinco sistemas de memoria probados resultaron vulnerables, con variación sustancial del efecto. Imagen ilustrativa. Brixiv · pexels · Pexels License

Por qué importa

La inyección de prompts suele estudiarse como un problema de un solo turno: llega texto no fiable, el modelo actúa sobre él, el turno termina. La memoria elimina el final. La ventana entre la lectura de un documento envenenado y la ejecución de la instrucción puede abarcar varias sesiones, lo que rompe el supuesto que sostiene a la mayoría de las defensas en tiempo de ejecución: que la entrada peligrosa y la acción peligrosa están lo bastante juntas como para verse en la misma traza.

También complica la evaluación. Un sistema de memoria que puntúa bien en calidad de recuperación no es por ello más seguro, y el banco de pruebas hace medible esa separación.

Qué vigilar

Los autores describen MemoryDojo como fácilmente extensible, y ahí se decidirá su valor: si quienes construyen sistemas de memoria lo ejecutan contra sus propios diseños, y si algo de la generación actual de arquitecturas resiste el ataque optimizado en lugar de limitarse a atenuarlo.