En agent som skriver ner reglerna medan den spelar
Forskare vid University College London, Huaweis Noah’s Ark Lab i Storbritannien och University of Liverpool har publicerat en artikel om en agent som klarar varje nivå i samtliga 25 publika spel i ARC-AGI-3, den interaktiva versionen av ARC-testet, och gör det på 44 procent av de handlingar en mänsklig spelare behövde. Artikeln lades upp på arXiv den 8 oktober.
ARC-AGI-3 släpper ner en agent i ett rutnätsspel utan instruktioner. Den får inte veta målet, kontrollerna eller reglerna, och den kan inte läsa miljöns källkod. Allt måste räknas ut genom att spela. Resultaten rapporteras som Relative Human Action Efficiency, RHAE, som viktar varje nivå efter hur många handlingar den mänskliga referensen behövde och har 100 som tak.
Agenten heter Memento 3 och når det taket: en genomsnittlig RHAE på 100,0 över alla 25 spel och 183 nivåer. Det ovanliga är att språkmodellen under aldrig förändras. Författarna kör systemet i Claude Code med Claude Opus 5 som basmodell och resonemangsnivån satt till extra hög, och vikterna förblir frysta hela tiden.
Inlärningen sker i en fil, inte i vikterna
I stället för att träna håller agenten en regelbok: ett dokument på naturligt språk om vad den för tillfället tror om hur miljön fungerar, där det den ännu inte listat ut medvetet lämnas ospecificerat. Regelboken kompileras sedan till körbar Python, och programmet används för att förutsäga vad spelet kommer att göra och för att planera.
När en förutsägelse slår fel reviderar agenten regelboken och kompilerar om. En revidering godtas bara på två villkor: modellen måste bedöma att den nya koden är trogen regelboken, och en cellexakt uppspelning av vad som faktiskt hände i spelet måste återskapa de observerade övergångarna. Hela arbetsytan — regelbok och kompilerade moduler — ligger i ett Git-arkiv som checkas in och taggas efter varje iteration, och det är så agenten kan backa en hypotes som en senare nivå motbevisar. Författarna beskriver detta som en modellbaserad väg till rekursiv självförbättring, och redogör för en populationsvariant som håller flera konkurrerande världsmodeller i gång parallellt och delar bevis mellan dem.
Den hederliga jämförelsen är antalet handlingar
Ett takresultat lockar till en slarvig rubrik, så det är värt att vara exakt med vad som är nytt. Memento 3 är inte det första systemet som klarar alla publika ARC-AGI-3-spel. Närmaste bidrag i artikelns egen jämförelsetabell, baseline1, fick 99,0 och klarade också alla 25. Därefter blir avståndet större: NOOA på 85,1 med 19 klarade spel, OPINE-World på 78,4 med 20, DreamTeam på 38,1 med 6 och Continual Harness på 20,5 med 3.
Det är i effektiviteten glappet uppstår. Memento 3 klarar hela uppsättningen på 7 518 handlingar mot baseline1:s 8 347 och en mänsklig referens på 17 135, en kvot på 0,44. Per spel ligger kvoten mellan 0,20 och 0,67, med medianen 0,42. Mot en Claude Opus 5 utan tillägg som kör ARC Prize Standard harness rapporterar artikeln en genomsnittlig RHAE 59,3 poäng högre — vilket säger mindre om Memento 3 än om hur mycket av resultatet som kommer från ställningen runt modellen snarare än från modellen.
Samtliga referenssiffror, inklusive den mänskliga handlingsreferensen, är hämtade från varje systems officiella ARC Prize-protokoll, så alla kolumner räknas på samma sätt.
Vad artikeln inte hävdar
Siffran 100,0 gäller de 25 publika spelen. Artikeln redovisar inget resultat på en undanhållen uppsättning, och ARC Prize Foundations egen mätning görs på spel deltagaren inte har sett. Att mätta den publika delen är ett verkligt ingenjörsresultat; det är inte samma sak som att testet är löst, och de som förvaltar det har varit tydliga med att det är den privata uppsättningen som räknas.
Författarna prövade också om samma mekanism fungerar utanför diskret planering. I en fallstudie med Ataris Pong lärde agenten sig en återkopplingsregulator som vann 21:0 i var och en av tre utvärderade matcher med olika öppningar, utan ytterligare anrop till språkmodellen när regulatorn väl var på plats.
Det som är värt att följa är om ett ARC Prize-protokoll dyker upp för Memento 3 på de undanhållna spelen, och hur effektivitetssiffran ser ut när miljön är en som regelboken aldrig har fått chansen att ha fel om.
