Un agente que anota las reglas mientras juega
Investigadores del University College London, del Noah’s Ark Lab de Huawei en el Reino Unido y de la Universidad de Liverpool han publicado un artículo que describe un agente capaz de superar todos los niveles de los 25 juegos públicos de ARC-AGI-3, la versión interactiva del banco de pruebas ARC, usando el 44% de las acciones que necesitó un jugador humano. El artículo se publicó en arXiv el 8 de octubre.
ARC-AGI-3 coloca al agente en un juego de cuadrícula sin instrucciones. No se le dice el objetivo, ni los controles, ni las reglas, y no puede leer el código del entorno. Tiene que deducirlo todo jugando. Las puntuaciones se expresan como Eficiencia Relativa de Acción Humana, o RHAE, que pondera cada nivel según las acciones que necesitó la referencia humana y tiene un máximo de 100.
El agente, llamado Memento 3, alcanza ese techo: una RHAE media de 100,0 en los 25 juegos y sus 183 niveles. Lo inusual del resultado es que el modelo de lenguaje subyacente nunca cambia. Los autores ejecutan el sistema en Claude Code con Claude Opus 5 como modelo base y el esfuerzo de razonamiento en extra-alto, y los pesos permanecen congelados todo el tiempo.
El aprendizaje ocurre en un archivo, no en los pesos
En lugar de entrenar, el agente mantiene un reglamento: un documento en lenguaje natural con lo que cree en cada momento sobre el funcionamiento del entorno, dejando deliberadamente sin especificar lo que aún no ha averiguado. Después compila ese reglamento en Python ejecutable y usa el programa para predecir qué hará el juego y para planificar.
Cuando una predicción falla, el agente revisa el reglamento y vuelve a compilar. Una revisión solo se acepta con dos condiciones: el modelo debe considerar que el nuevo código es fiel al reglamento, y una repetición celda por celda de lo que ocurrió realmente en el juego debe reproducir las transiciones observadas. Todo el espacio de trabajo —el reglamento y los módulos compilados— vive en un repositorio Git, con un commit y una etiqueta en cada iteración, y así el agente puede deshacer una hipótesis que un nivel posterior desmiente. Los autores lo plantean como una vía basada en modelos hacia la automejora recursiva, y describen una extensión poblacional que mantiene varios modelos del mundo en paralelo compartiendo evidencia entre ellos.
La comparación honesta es el recuento de acciones
Una puntuación máxima invita a un titular descuidado, así que conviene precisar qué hay de nuevo. Memento 3 no es el primer sistema que completa todos los juegos públicos de ARC-AGI-3. La entrada más cercana en la propia tabla comparativa del artículo, baseline1, obtuvo 99,0 y también terminó los 25. Los siguientes quedan más atrás: NOOA con 85,1 y 19 juegos completados, OPINE-World con 78,4 y 20, DreamTeam con 38,1 y 6, y Continual Harness con 20,5 y 3.
La diferencia aparece en la eficiencia. Memento 3 termina el conjunto en 7.518 acciones, frente a las 8.347 de baseline1 y una referencia humana de 17.135, una proporción de 0,44. Por juego, la proporción va de 0,20 a 0,67, con una mediana de 0,42. Frente a un Claude Opus 5 sin añadidos con el ARC Prize Standard harness, el artículo informa de una RHAE media 59,3 puntos superior, lo que dice menos sobre Memento 3 que sobre cuánto del resultado procede del andamiaje y no del modelo.
Todas las cifras de referencia, incluida la línea base humana de acciones, provienen de la tarjeta oficial de ARC Prize de cada sistema, de modo que todas las columnas se cuentan igual.
Lo que el artículo no afirma
El 100,0 es sobre los 25 juegos públicos. El artículo no informa de ningún resultado en un conjunto reservado, y la medición propia de la ARC Prize Foundation se hace sobre juegos que el participante no ha visto. Saturar la parte pública es un resultado de ingeniería real; no equivale a resolver el banco de pruebas, y sus responsables han sido explícitos en que lo que cuenta es el conjunto privado.
Los autores también comprobaron si el mismo mecanismo funciona fuera de la planificación discreta. En un estudio de caso con el Pong de Atari, el agente aprendió un controlador de realimentación que ganó 21:0 en cada uno de los tres episodios evaluados, con aperturas distintas y sin más llamadas al modelo de lenguaje una vez instalado el controlador.
Lo que hay que seguir es si aparece una tarjeta de ARC Prize para Memento 3 en los juegos reservados, y qué aspecto tiene la cifra de eficiencia cuando el entorno es uno sobre el que el reglamento nunca ha tenido ocasión de equivocarse.
