El montaje no deja rastro visible del rasgo
El aprendizaje subliminal es el hallazgo de que un rasgo puede pasar de un modelo a otro a través de datos que no contienen ninguna señal explícita de él. Hasta ahora las demostraciones implicaban a un alumno entrenado con texto escrito por un maestro. Un artículo publicado en arXiv el 30 de octubre por Keuntae Kim y Yong Suk Choi pregunta si lo mismo ocurre en el aprendizaje por refuerzo, donde el alumno nunca lee las palabras del maestro.
En su montaje el alumno se entrena con optimización de política relativa de grupo. Genera sus propias salidas —sílabas inventadas o números— y la única señal externa que recibe es una puntuación de un único modelo de lenguaje que actúa como juez. El juez está configurado para preferir un animal. La preferencia declarada del alumno se desplaza entonces hacia ese animal, frente a una ejecución idéntica en lo demás cuyo juez favorecía otro.
Nada en los datos de entrenamiento del alumno nombra al animal. El alumno escribió los datos él mismo, y los datos son sílabas sin sentido.
Una cadena de cuatro etapas, y un control limpio
Los autores no se detienen en el efecto. Describen la transferencia como una cadena que debe sostenerse en cuatro puntos: el rasgo tiene que aparecer en las puntuaciones del juez; esas puntuaciones tienen que favorecer cadenas que de hecho muevan al alumno; el efecto tiene que acumularse a lo largo del entrenamiento; y tiene que asomar en las respuestas del alumno en lugar de quedarse latente.
El control que más importa es el más simple. Cuando los autores eliminan solo la diferencia de recompensa entre los dos jueces, dejando todo lo demás en su sitio, la transferencia desaparece. Eso señala a las propias puntuaciones como portadoras, no a algún artefacto de las cadenas generadas.
Dos resultados adicionales lo acotan. Los jueces construidos para sostener la misma preferencia pero a partir de otros datos, o sobre otro modelo base, no reproducen el efecto: colocan la preferencia en cadenas distintas y no se detecta transferencia. El rasgo no viaja sobre la preferencia en abstracto. Viaja sobre el patrón concreto de puntuación que produce un juez concreto.
17 de 48 celdas
Las cifras son modestas y los autores las presentan así. De 48 celdas de diseño, dos no pasaron un filtro de validez. Diecisiete establecieron el rasgo con una tasa de falsos descubrimientos del 5%, incluidas celdas en las que el alumno solo generaba números. El artículo tiene 37 páginas, cuatro figuras, dos tablas y seis tablas de datos ampliados.
Los autores aplican además la misma cadena a disposiciones de seguridad de la IA en lugar de preferencias por animales, y recogen que disposiciones indeseables pueden llegar a las respuestas del alumno por la misma vía. Esa es la parte con consecuencias operativas: un modelo juez usado para puntuar las salidas de un alumno es ahora una posible vía de transmisión de aquello hacia lo que el propio juez se inclina, incluidas inclinaciones que nadie quiso entrenar.
Qué se deduce
La sugerencia práctica del artículo es medir los primeros eslabones de la cadena antes de empezar el entrenamiento —si el rasgo aparece en las puntuaciones del juez, y si esas puntuaciones favorecen cadenas que moverían al alumno— como forma de predecir dónde ocurrirá la transferencia y frenar parte de ella. Es una afirmación comprobable sobre una verificación previa barata, y es lo que conviene vigilar cuando otros grupos intenten reproducirla.
