Dos resultados conocidos, combinados
Dos cosas sobre los transformadores están establecidas por separado. El trabajo teórico trata las cabezas de atención como una forma de memoria asociativa. El trabajo empírico sobre poda muestra que buena parte de las cabezas puede eliminarse con poca pérdida de rendimiento en modelado del lenguaje.
Un artículo publicado en arXiv el 29 de octubre por Aryan Chowdhury y Riza Batista-Navarro junta ambas cosas y plantea la pregunta obvia: si las cabezas almacenan asociaciones, y la mayoría son redundantes, ¿quitar las redundantes quita el texto de entrenamiento almacenado?
Las cifras
El experimento se ejecuta sobre GPT-2-XL, un modelo de 1.500 millones de parámetros, evaluado en secuencias que se sabe que están memorizadas. Los autores anulan 729 cabezas de atención identificadas como redundantes para la tarea, en el momento de la inferencia, antes de que el modelo genere nada.
El recuento de memorización cayó un 91,5%.
La segunda cifra es lo que impide que esto sea un resultado trivial. La perplejidad en WikiText-103 no se degradó: mejoró en 0,92. Suprimir nueve décimas partes de la salida literal no costó nada medible en calidad de modelado del lenguaje en el mismo banco de pruebas con el que se identificaron las cabezas redundantes.
Esa última cláusula es la salvedad que los autores explicitan: las cabezas se seleccionaron como redundantes en un banco de pruebas, y la calidad se midió luego en ese mismo banco. Una cabeza redundante para WikiText-103 no es necesariamente redundante para código, para traducción o para recuperación en contexto largo.
Por qué importa más allá de la arquitectura
El atractivo operativo es que es barato. No hay reentrenamiento, ni filtrado de conjuntos de datos, ni procedimiento de desaprendizaje automático, ni cambio en los pesos que quedan: solo una máscara aplicada en la inferencia. Cualquier otro enfoque del problema de la memorización es caro: reentrenar un modelo para que olvide algo cuesta lo que costó entrenarlo, y curar un corpus tiene que ocurrir antes de que el modelo exista.
Eso importa porque la memorización es hoy una exposición jurídica, no solo una curiosidad de investigación. Los litigios sobre la salida de los modelos han girado repetidamente en torno a si un sistema reproduce texto de entrenamiento palabra por palabra. Una técnica que suprima la mayor parte de ese comportamiento en el momento de servir, sin tocar la calidad general del modelo, valdría muchísimo para una parte demandada, lo que también es razón para quererla probada por alguien sin interés en la respuesta.
Los límites son grandes
Es un artículo de siete páginas con cinco tablas, una figura y un modelo. GPT-2-XL tiene siete años y es tres órdenes de magnitud más pequeño que los sistemas de frontera actuales, y nada aquí muestra que el efecto sobreviva a escala, o en un modelo entrenado con deduplicación moderna ya aplicada. La métrica de memorización es un recuento sobre secuencias que se sabe memorizadas, no un ataque adversario de extracción.
La prueba que lo zanjaría es sencilla y alguien la hará: el mismo procedimiento de poda de cabezas sobre un modelo de pesos abiertos de este año, con extracción intentada en lugar de contada, y la calidad medida en bancos distintos del usado para elegir las cabezas.
