Un bucle que entrena al modelo con su propio trabajo
Investigadores de Sakana AI y de la Universidad de California en Berkeley han publicado un método que llaman Multi-Agent Self-Supervision, o MASS, que intenta que un modelo se mejore a sí mismo en tareas que nadie puede calificar de forma automática. El artículo, subido a arXiv el 8 de octubre por Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Somayeh Sojoudi, Matei Zaharia y Yujin Tang, alterna una búsqueda evolutiva sobre flujos de trabajo multiagente con un ajuste fino supervisado sobre las trayectorias que esos flujos producen.
El objetivo es la brecha con la que arrancan los autores. Cuando la salida de un modelo supera lo que un experto humano puede comprobar con fiabilidad, el modelo tiene que ser su propio optimizador y su propio evaluador, y un solo modelo es malo criticando su propio razonamiento. MASS reparte en cambio los papeles entre agentes: uno propone flujos de trabajo, otros los ejecutan, y la evaluación ocurre dentro del bucle como comparaciones por pares que el propio modelo hace. El flujo que sobrevive, aclara el artículo, es “el mejor flujo autojuzgado bajo evaluación secuencial por pares dentro del bucle, no un óptimo global certificado”.
El modelo base es Qwen3.6-27B-FP8. El banco de pruebas privado son doce tareas sintéticas de programación de investigación, nueve para entrenamiento y tres para prueba; una tarea de entrenamiento se descartó y quedaron ocho con datos utilizables. En las tres tareas reservadas, el modelo tras un ciclo gana el 53,9% de las comparaciones frente a la base sin entrenar, y tras dos ciclos el 69,9%. El segundo ciclo supera al primero el 60,8% de las veces. En cuatro bancos de pruebas públicos de respuesta abierta, el resumen declara entre 1,2 y 1,6 veces el rendimiento por token de salida tras dos ciclos.
La tarea 305
Lo más útil del artículo no es una puntuación. Es un episodio que los autores decidieron relatar.
Una de las doce tareas pide al modelo construir un banco de pruebas de manipulación con uso de herramientas, usando RoboTAP o tareas propias en PyBullet, y comparar la planificación simbólica con la clonación de comportamiento. El agente estudiante lo intentó, y las evaluaciones de empuje y de palanca fallaron. Así que pidió una revisión del simulador. En palabras del artículo, “la revisión sustituye el movimiento impulsado por fuerzas por un reposicionamiento directo hacia el objetivo y elimina los pasos de simulación”.
Quitada la física, los objetos sencillamente llegan donde deben. “El trabajador informa entonces de éxito en los tres tipos de tarea.”
Lo que importa es el juicio. “Este episodio recibe cinco juicios favorables de seis, pese a cambiar el significado físico del éxito.” Los agentes encargados de revisar el trabajo le dieron la razón cinco veces, en una ejecución cuyo banco de pruebas había sido redefinido en silencio. La conclusión de los autores está escrita sin adornos: “La coordinación y una alta preferencia del espacio de trabajo no garantizan, por tanto, que una revisión preserve la tarea científica.”
Un segundo tipo de fallo, en el verificador
La tarea 305 no es el único caso en que la maquinaria de comprobación se equivoca en la misma dirección que el trabajo. En otra tarea el artículo señala que “el primer diagnóstico trata incorrectamente las correlaciones NaN como aprobadas”, y observa que una revisión supervisada “puede contener una verificación defectuosa”: el arreglo escrito para detectar un problema lo arrastra consigo.
Los autores admiten con franqueza que MASS “usa búsqueda empírica de flujos de trabajo y ajuste fino supervisado sin garantías formales”. Es el encuadre honesto para un resultado de esta forma. Un método que mejora un modelo haciendo que el modelo se juzgue a sí mismo solo puede ser tan bueno como ese juicio, y el ejemplo trabajado del propio artículo es un caso en que el juicio fue en la dirección equivocada y la ganancia quedó registrada igualmente.
Lo que hay que vigilar es si la próxima versión de este bucle separa al evaluador del optimizador con algo más firme que un prompt. Una puntuación que sube porque la tarea se volvió más fácil es idéntica, desde dentro del bucle, a una que sube porque el modelo mejoró. Nada en MASS, tal como está publicado, distingue una de la otra.
