Una comida gratis que no lo es
El bucle consiste en volver a aplicar un bloque de capas de un modelo para que cada token pase por él más de una vez. Su atractivo es contable: el número de parámetros no cambia, así que el archivo en disco, la huella de memoria y el coste de entrenamiento se quedan donde estaban. Un artículo publicado en arXiv el 30 de octubre señala lo que esa contabilidad deja fuera.
Cada token generado paga el bucle. Volver a aplicar m de N capas hace que producir cada token cueste aproximadamente (N+m)/N veces más. Un bucle que un modelo aprende durante un preentrenamiento a gran escala se gana ese precio. Si lo gana un bucle añadido a un modelo ya entrenado es la pregunta que el artículo se propone resolver.
Dos referencias, no una
El diseño es el argumento. Los autores comparan el modelo con bucle contra dos cosas, y no contra nada.
La primera es el mismo modelo entrenado de forma idéntica sin el bucle, una comparación a igualdad de parámetros, que pregunta si el bucle aporta algo que un modelo normal de ese tamaño no tenga ya. La segunda es el mejor uso sin bucle de las mismas operaciones de coma flotante en inferencia, una comparación a igualdad de FLOPs, que pregunta si el cómputo que gasta el bucle se habría aprovechado mejor de otro modo.
Un modelo con bucle tiene que superar ambas para merecer la pena. La mayoría de las ganancias que se publican sobre bucles se miden solo contra la primera.
Solo gana el modelo más pequeño
El barrido cubre modelos Qwen3 y Qwen3.5 de 0,8 a 9 mil millones de parámetros. En todo ese rango, solo el modelo con bucle de 0,8B supera a las dos referencias.
Con 4B y 9B el modelo con bucle ni siquiera supera a la primera: el mismo modelo, entrenado igual, sin el bucle. Añadir el bucle tras el preentrenamiento lo empeoró, y a un coste mayor por token.
No es un efecto techo
La objeción evidente es que los bancos de pruebas estuvieran saturados, que no quedara nada por ganar. Los autores la cierran directamente. En esos mismos bancos, el modelo de 9B sin bucle puntúa hasta 13 puntos por encima del de 4B sin bucle, lo que significa que las tareas siguen distinguiendo niveles de capacidad a esa escala. El margen existe; el bucle no lo alcanza.
El caso estrecho que sobrevive
La conclusión es concreta y no general: introducir bucles en un modelo ya preentrenado solo compensa en modelos pequeños que operan con un presupuesto fijo de parámetros. Ese es un régimen de despliegue real —un modelo en dispositivo que no puede aumentar sus pesos pero sí gastar más cómputo por token— y es mucho más estrecho que el modo en que suele venderse el bucle.
Qué vigilar
El artículo no dice nada sobre bucles aprendidos durante el preentrenamiento, que trata explícitamente como justificados. La pregunta abierta es dónde está el cruce y por qué: el resultado a 0,8B y el resultado a 4B son distintos en naturaleza, no en grado, y el artículo no identifica el mecanismo. Habrá que mirar si llega un trabajo que pruebe la frontera entre ambos, y si alguien publica ganancias de bucle contra una referencia a igualdad de FLOPs y no a igualdad de parámetros.
