Un agent qui note les règles en jouant
Des chercheurs de l’University College London, du Noah’s Ark Lab de Huawei au Royaume-Uni et de l’université de Liverpool ont publié un article décrivant un agent qui franchit tous les niveaux des 25 jeux publics d’ARC-AGI-3, la version interactive du test ARC, en utilisant 44 % des actions qu’il a fallu à un joueur humain. L’article a été déposé sur arXiv le 8 octobre.
ARC-AGI-3 place l’agent dans un jeu en grille sans aucune instruction. Ni l’objectif, ni les commandes, ni les règles ne lui sont communiqués, et il ne peut pas lire le code de l’environnement. Il doit tout déduire en jouant. Les scores sont exprimés en Relative Human Action Efficiency, ou RHAE, qui pondère chaque niveau par le nombre d’actions dont la référence humaine a eu besoin et plafonne à 100.
L’agent, baptisé Memento 3, atteint ce plafond : une RHAE moyenne de 100,0 sur les 25 jeux et leurs 183 niveaux. Ce qui rend le résultat inhabituel, c’est que le modèle de langage sous-jacent ne change jamais. Les auteurs exécutent le système dans Claude Code avec Claude Opus 5 comme modèle de base et l’effort de raisonnement réglé au maximum, et les poids restent gelés d’un bout à l’autre.
L’apprentissage se fait dans un fichier, pas dans les poids
Au lieu de s’entraîner, l’agent tient un règlement : un document en langage naturel décrivant ce qu’il croit à un instant donné du fonctionnement de l’environnement, les parties qu’il n’a pas encore comprises restant volontairement non spécifiées. Il compile ensuite ce règlement en Python exécutable et se sert du programme pour prédire ce que fera le jeu et pour planifier.
Lorsqu’une prédiction échoue, l’agent révise le règlement et recompile. Une révision n’est acceptée qu’à deux conditions : le modèle doit juger le nouveau code fidèle au règlement, et une relecture case par case de ce qui s’est réellement passé dans le jeu doit reproduire les transitions observées. L’ensemble de l’espace de travail — règlement et modules compilés — vit dans un dépôt Git, validé et étiqueté à chaque itération, ce qui permet à l’agent de revenir sur une hypothèse qu’un niveau ultérieur réfute. Les auteurs présentent cela comme une voie fondée sur un modèle vers l’auto-amélioration récursive, et décrivent une extension par population qui maintient plusieurs modèles du monde en parallèle en partageant les observations entre eux.
La comparaison honnête porte sur le nombre d’actions
Un score plafond invite à un titre négligent, il faut donc être précis sur la nouveauté. Memento 3 n’est pas le premier système à terminer tous les jeux publics d’ARC-AGI-3. L’entrée la plus proche dans le tableau comparatif de l’article, baseline1, obtient 99,0 et termine aussi les 25. Les suivants sont plus loin : NOOA à 85,1 avec 19 jeux terminés, OPINE-World à 78,4 avec 20, DreamTeam à 38,1 avec 6 et Continual Harness à 20,5 avec 3.
C’est sur l’efficacité que l’écart se creuse. Memento 3 boucle l’ensemble en 7 518 actions, contre 8 347 pour baseline1 et une référence humaine de 17 135, soit un rapport de 0,44. Jeu par jeu, le rapport va de 0,20 à 0,67, avec une médiane de 0,42. Face à un Claude Opus 5 sans ajout exécutant l’ARC Prize Standard harness, l’article rapporte une RHAE moyenne supérieure de 59,3 points — ce qui renseigne moins sur Memento 3 que sur la part du résultat qui vient de l’échafaudage plutôt que du modèle.
Tous les chiffres de référence, y compris la base humaine en nombre d’actions, proviennent de la fiche officielle ARC Prize de chaque système, de sorte que toutes les colonnes sont comptées de la même façon.
Ce que l’article n’affirme pas
Le 100,0 porte sur les 25 jeux publics. L’article ne rapporte aucun résultat sur un ensemble réservé, et la mesure propre de l’ARC Prize Foundation se fait sur des jeux que le participant n’a pas vus. Saturer la partie publique est un vrai résultat d’ingénierie ; ce n’est pas la même chose que résoudre le test, et ses responsables ont été explicites : c’est l’ensemble privé qui compte.
Les auteurs ont aussi vérifié si le même mécanisme fonctionne en dehors de la planification discrète. Dans une étude de cas sur le Pong d’Atari, l’agent a appris un régulateur à rétroaction qui a gagné 21:0 dans chacun des trois épisodes évalués, avec des ouvertures différentes et sans nouvel appel au modèle de langage une fois le régulateur en place.
Ce qu’il faudra surveiller, c’est l’apparition d’une fiche ARC Prize pour Memento 3 sur les jeux réservés, et ce que devient le chiffre d’efficacité quand l’environnement est un environnement sur lequel le règlement n’a jamais eu l’occasion de se tromper.
