Leer los parámetros, no las salidas
Cuatro investigadores del MIT CSAIL —Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab— publicaron resultados el 2 de noviembre de un montaje que llaman programación en el espacio de pesos: a un modelo de frontera, el GPT-6 Astra de OpenAI, se le entregan los parámetros brutos de otra red y se le pide interpretarlos o reescribirlos, sin ningún descenso de gradiente en el proceso.
Los experimentos de interpretación van primero. Con los 17.253 pesos de cuatro políticas de aprendizaje por refuerzo, el modelo nombró el juego que jugaba cada una —Breakout, Pong, Pac-Man y Freeway— en los cuatro casos. Con un modelo de difusión de 23.824 pesos, identificó qué forma generaba. A partir solo de los cuatro bloques transformadores centrales de modelos de lenguaje de 7,2 millones de parámetros, identificó si el modelo se había entrenado con Python, romaji o inglés, y localizó las cabezas de copia.
Editar, y escribir desde cero
Los resultados de edición son los más llamativos. Sobre un modelo Qwen3.5-0.8B, los autores informan de que el modelo editó 131.072 pesos —el 0,016% de los parámetros— y, con 50 pasadas hacia adelante permitidas para comprobar su trabajo, llevó MATH-500 del 7,9% al 48,1%, GSM8K del 13,8% al 67,1% e IFEval del 21,0% al 62,3%. La proporción de respuestas de MATH-500 que chocaban con el límite de salida de 32.768 tokens cayó del 93% al 33,1%, lo que sugiere que la edición sobre todo evitó que el modelo entrara en bucle.
En una tarea de control físico, editar el 3,5% de una red de 171.664 pesos produjo una política que tuvo éxito en los 1.024 episodios de prueba, cuando la red original no había tenido éxito en ninguno de 256. Partiendo en cambio de pesos todos a cero, redes escritas de una sola vez obtuvieron 517,4 en Breakout frente a 15,8 de un agente de gradiente de políticas entrenado con 100 millones de pasos y 25,3 con 500 millones. En go 9x9, una red de 1,48 millones de pesos escrita sin ninguna pasada hacia adelante ganó más de la mitad de sus partidas contra dos redes entrenadas más pequeñas; con 50 pasadas venció a una red del mismo tamaño entrenada con 20 millones de partidas.
Dónde falló
El informe recoge también sus resultados negativos. Cuando se le pidió distinguir un modelo Gemma 3 270M adulador solo a partir de los pesos, el modelo no pudo; solo lo logró cuando se le permitió inspeccionar los patrones de atención. Y en Gemma 3 270M, que según los autores rara vez entra en bucle, el método de edición no produjo ninguna mejora significativa: MATH-500 pasó del 6,8% a un 7,7% como máximo. Ese patrón encaja con la cifra del límite de tokens: las grandes ganancias llegaron donde había bucles que eliminar.
Todas las cifras aquí son de los propios autores, medidas con un modelo construido por OpenAI, y ninguna ha sido reproducida de forma independiente.
Qué vigilar
Si el método resiste fuera de este informe, corta en dos direcciones a la vez. Es una nueva herramienta de interpretabilidad: un modelo capaz de leer los parámetros de otro y decir qué hacen. Es también un resultado de capacidad: ese mismo acceso permite al modelo cambiar comportamientos a escala de cien mil pesos sin entrenamiento. El paso siguiente útil es una replicación sobre modelos que los autores no hayan elegido.
