En agent, der skriver reglerne ned, mens den spiller
Forskere ved University College London, Huaweis Noah’s Ark Lab i Storbritannien og University of Liverpool har offentliggjort en artikel om en agent, der klarer hvert niveau i samtlige 25 offentlige spil i ARC-AGI-3, den interaktive udgave af ARC-testen, og gør det på 44 procent af de handlinger, en menneskelig spiller havde brug for. Artiklen blev lagt op på arXiv den 8. oktober.
ARC-AGI-3 sætter agenten ned i et gitterspil uden instruktioner. Den får ikke at vide, hvad målet er, hvad knapperne gør, eller hvilke regler der gælder, og den kan ikke læse miljøets kildekode. Alt skal regnes ud ved at spille. Resultaterne opgives som Relative Human Action Efficiency, RHAE, der vægter hvert niveau efter, hvor mange handlinger den menneskelige reference havde brug for, og som har 100 som loft.
Agenten hedder Memento 3 og rammer det loft: en gennemsnitlig RHAE på 100,0 over alle 25 spil og 183 niveauer. Det usædvanlige er, at sprogmodellen nedenunder aldrig ændres. Forfatterne kører systemet i Claude Code med Claude Opus 5 som basismodel og ræsonnementsniveauet sat til ekstra højt, og vægtene forbliver frosne hele vejen.
Læringen sker i en fil, ikke i vægtene
I stedet for at træne holder agenten en regelbog: et dokument på naturligt sprog om, hvad den i øjeblikket tror om, hvordan miljøet virker, hvor det, den endnu ikke har fundet ud af, med vilje står uspecificeret. Regelbogen oversættes derefter til kørbar Python, og programmet bruges til at forudsige, hvad spillet vil gøre, og til at planlægge.
Når en forudsigelse slår fejl, reviderer agenten regelbogen og oversætter den igen. En revision godtages kun på to betingelser: modellen skal vurdere, at den nye kode er tro mod regelbogen, og en celleexakt gennemspilning af det, der faktisk skete i spillet, skal genskabe de observerede overgange. Hele arbejdsområdet — regelbog og oversatte moduler — ligger i et Git-arkiv, der tjekkes ind og mærkes efter hver iteration, og det er sådan, agenten kan trække en hypotese tilbage, som et senere niveau modbeviser. Forfatterne beskriver det som en modelbaseret vej til rekursiv selvforbedring og redegør for en populationsvariant, der holder flere konkurrerende verdensmodeller kørende parallelt og deler observationer mellem dem.
Den ærlige sammenligning er antallet af handlinger
En loftscore inviterer til en sjusket rubrik, så det er værd at være præcis med, hvad der er nyt. Memento 3 er ikke det første system, der klarer alle de offentlige ARC-AGI-3-spil. Det nærmeste bidrag i artiklens egen sammenligningstabel, baseline1, fik 99,0 og klarede også alle 25. Derefter bliver afstanden større: NOOA på 85,1 med 19 klarede spil, OPINE-World på 78,4 med 20, DreamTeam på 38,1 med 6 og Continual Harness på 20,5 med 3.
Det er på effektiviteten, at afstanden opstår. Memento 3 gennemfører hele sættet på 7.518 handlinger mod baseline1s 8.347 og en menneskelig reference på 17.135, et forhold på 0,44. Per spil ligger forholdet mellem 0,20 og 0,67 med medianen 0,42. Mod en Claude Opus 5 uden tilføjelser, der kører ARC Prize Standard harness, rapporterer artiklen en gennemsnitlig RHAE 59,3 point højere — hvilket siger mindre om Memento 3 end om, hvor meget af resultatet der kommer fra stilladset omkring modellen og ikke fra modellen selv.
Alle referencetal, inklusive den menneskelige handlingsreference, er hentet fra hvert systems officielle ARC Prize-protokol, så alle kolonner tælles på samme måde.
Det, artiklen ikke hævder
Tallet 100,0 gælder de 25 offentlige spil. Artiklen oplyser ikke noget resultat på et tilbageholdt sæt, og ARC Prize Foundations egen måling foregår på spil, deltageren ikke har set. At mætte den offentlige del er et reelt ingeniørresultat; det er ikke det samme som, at testen er løst, og de, der forvalter den, har været tydelige om, at det er det private sæt, der tæller.
Forfatterne prøvede også, om samme mekanisme virker uden for diskret planlægning. I et casestudie med Ataris Pong lærte agenten en tilbagekoblingsregulator, der vandt 21:0 i hver af tre evaluerede kampe med forskellige åbninger, uden flere kald til sprogmodellen, da regulatoren først var på plads.
Det, der er værd at følge, er, om der dukker en ARC Prize-protokol op for Memento 3 på de tilbageholdte spil, og hvordan effektivitetstallet ser ud, når miljøet er et, regelbogen aldrig har fået chancen for at tage fejl om.
