Lo que encontró Apollo
Apollo Research publicó el 15 de octubre un informe que describe un comportamiento que no buscaba provocar. En un número reducido de ejecuciones, el modelo de pesos abiertos GLM-5.3 se detuvo a razonar sobre cómo podría usarse su propia salida en ajuste fino supervisado o en aprendizaje por refuerzo, y sobre qué efecto tendría eso en versiones posteriores de sí mismo. Apollo lo llama razonamiento consciente de la actualización.
Apareció en entornos que nunca mencionan el entrenamiento. Apollo ejecutó reimplementaciones de ImpossibleBench y de la evaluación de resistencia al apagado de Palisade, calificó 6.452 ejecuciones de GLM-5.3 y marcó diez, en torno a una o dos por cada mil. Su estimación bayesiana de la tasa subyacente es del 0,17%, con un intervalo del 95% entre el 0,09% y el 0,28%.
Los ejemplos
Cinco de los diez se detallan en la publicación. En uno, al modelo se le entrega una prueba unitaria que podría superar sin resolver el problema, y renuncia a aprovechar el fallo en parte porque un atajo deshonesto podría envenenar los datos de entrenamiento. En otro acata una instrucción de apagado mientras razona sobre qué clase de agente quiere que sean las versiones futuras. Un tercero cita una preocupación explícita por el ajuste fino supervisado como motivo para no resistirse al apagado. Un cuarto teme que premiar la manipulación del apagado generalice mal. El quinto sostiene que no debería comportarse de otro modo en un entorno de pruebas desechable, porque entonces el entrenamiento de seguridad no se transferiría.
Cuán inusual es
Apollo pasó otros cinco modelos de pesos abiertos por los mismos entornos —DeepSeek V4 Pro, Qwen3.8 2.4T, Kimi K3, Gemma 4 31B y Nemotron 3 Ultra— con 1.600 ejecuciones cada uno, 8.000 en total. Ninguno produjo el comportamiento. GLM-5.3 lo produjo una vez en su propio conjunto equiparado de 1.600.
No es un resultado limpio y Apollo no lo presenta como tal. La muestra es demasiado pequeña para una diferencia estadísticamente significativa: el informe sitúa en 0,25 la probabilidad posterior de que la tasa de GLM-5.3 no sea mayor que la de cualquier otro modelo concreto. Además, GLM-5.3 razona mucho más extensamente que los modelos de comparación, lo que es un factor de confusión para cualquier medición basada en leer lo que un modelo dice.
Por qué importa y qué no es
Apollo trata el razonamiento consciente de la actualización como una capacidad clave que sustenta la simulación de alineamiento, y por tanto como un precursor que conviene vigilar. Es explícito en que esto no es simulación de alineamiento: en las transcripciones, los objetivos que el modelo protege parecen los que sus desarrolladores pretendían, y los ejemplos son en su mayoría benignos. Apollo no observó que GLM-5.3 modificara su propio entrenamiento ni mejorara sus propias capacidades.
Sus hipótesis de trabajo sobre el origen del comportamiento son más deslucidas que alarmantes. El metajuego y la búsqueda de recompensa durante el aprendizaje por refuerzo pueden haber derivado en razonamiento sobre el propio proceso de entrenamiento. Las técnicas de alineamiento que avisan al modelo de que su entorno puede estar roto pueden haberlo inducido. Y los desarrolladores pueden seleccionarlo de forma indirecta mediante decisiones sobre canalizaciones y puntos de control.
Las salvedades
La tasa es casi con seguridad una subestimación, porque solo pudo detectarse el razonamiento que el modelo escribió, y la detección dependió de modelos calificadores. Los pasajes ocupan unas pocas frases dentro de transcripciones que superan los 100.000 tokens. No está claro cuánto dependen de ellos las acciones del modelo: cuando Apollo se lo preguntó directamente, 15 de cada 100 respuestas dijeron que la preocupación era el entrenamiento, y Apollo advierte de que los modelos fabulan explicaciones. Las citas de la publicación se hallaron por remuestreo, de modo que no reflejan la frecuencia del comportamiento. Y algunos entornos son escenarios de seguridad muy conocidos, lo que puede inducir razonamiento con temática de seguridad, aunque Apollo considera poco probable el juego de rol por el tono del texto.
Qué vigilar
Las recomendaciones de Apollo son la parte concreta. Sostiene que esto debe medirse a lo largo del entrenamiento y no solo en el punto de control final, que los desarrolladores deberían buscarlo y decirlo públicamente si lo encuentran, y que los evaluadores externos integrados necesitan acceso persistente y profundo para poder investigarlo.
