Dejar que el modelo construya su propio andamiaje
Jens Lehmann y Sahar Vahdati han publicado en arXiv un estudio controlado que pregunta si un modelo de frontera puede escribir y luego mejorar el arnés de agente que lo gobierna: el código que orquesta las llamadas al modelo, gestiona el estado y decide el siguiente paso. Lo subieron el 21 de octubre.
El montaje es deliberadamente limpio. Cada modelo construye un arnés, lo prueba en cinco juegos de desarrollo de ARC-AGI-3 y lo revisa dos veces. Después se mide el rendimiento en veinte juegos públicos reservados por completo de la construcción y la revisión. La métrica, eficiencia de acción relativa al humano, combina la finalización de niveles con la eficiencia de acciones frente a líneas base humanas ocultas: terminar un nivel dentro de cinco veces el número de acciones humanas otorga una puntuación por nivel, con un tope de 115 y más peso en los niveles tardíos.
Se ejecutaron nueve condiciones de modelo y esfuerzo en siete familias, con tres construcciones independientes cada una, 27 linajes en total. Entre las familias están GPT-6 Astra, cuatro variantes de GPT-5.6, Claude Fable 5, Claude Opus 5 y Claude Sonnet 5.
La cifra que incluye el cero
Tras dos revisiones, la puntuación media reservada subió 2,80 puntos, con un intervalo bootstrap del 95% de −1,44 a 7,35. El intervalo contiene el cero, así que el estudio no puede distinguir la ganancia del ruido. Quince linajes mejoraron y doce empeoraron, un reparto que una prueba de signos bilateral sitúa en p = 0,70.
La puntuación media de desarrollo subió 8,42 puntos con esas mismas dos revisiones. La diferencia entre ambas —5,62 puntos, intervalo de 1,78 a 9,77— es lo que los autores llaman la brecha de adaptación, y es el resultado que sí se separa del cero. Revisar un arnés contra cinco juegos lo mejora de forma fiable en esos cinco juegos, y esa mejora no se transfiere.
Las puntuaciones reservadas iniciales promediaron 24,54 y fueron de 0 a 97,14, lo que es la otra cosa digna de nota: la varianza entre linajes empequeñece la varianza de revisar cualquiera de ellos.
Más barato, no mejor
El coste se movió más que la capacidad. El coste medio de resolver un juego reservado cayó de 10,30 dólares al inicio a 7,15 tras una revisión y 7,57 tras dos. Pero el cambio mediano fue de solo 54 centavos, frente a una caída media de 2,72 dólares: unos pocos linajes hallaron grandes ahorros y la mayoría ninguno.
De los 27 descendientes de la segunda revisión, nueve mejoraron puntuación y coste, nueve se abarataron perdiendo puntuación, seis ganaron puntuación a mayor coste y tres empeoraron en ambas. El programa experimental completo costó al menos 18.129,27 dólares según la propia tabla de precios del artículo.
Frente a los sistemas hechos a mano
Los autores colocan sus resultados junto a arneses dirigidos por humanos descritos en otros trabajos, con la advertencia de que esos sistemas usaron procedimientos distintos de desarrollo y selección, por lo que la comparación no aísla el efecto de la dirección humana.
Las cifras siguen siendo contundentes. Tycho llega a 100 en todos los juegos públicos con dos modelos, VISTA y AVO llegan a 100 con Opus 5, y Retrodict llega a 99,86. Una línea base genérica de Claude Code puntúa 42,83 frente a 98,98 del arnés de modelo del mundo hecho a medida en el mismo proyecto. El mejor linaje construido de forma autónoma aquí alcanzó 97,14; el típico empezó cerca de 24.
Qué vigilar
La lectura honesta es que la construcción autónoma de arneses funciona a veces y el estudio no puede decir de antemano cuándo. Esa es una afirmación distinta de “la automejora no funciona”, y los autores no hacen la más fuerte.
Lo que sí establece es una trampa metodológica que conviene nombrar. Un conjunto de desarrollo de cinco juegos da una señal de mejora clara y reproducible que mide sobre todo el ajuste a esos cinco juegos. Quien informe de un agente que se automejora sin un conjunto reservado está informando del 8,42, no del 2,80.
