En agent som skriver ned reglene mens den spiller
Forskere ved University College London, Huaweis Noah’s Ark Lab i Storbritannia og University of Liverpool har publisert en artikkel om en agent som klarer hvert nivå i samtlige 25 offentlige spill i ARC-AGI-3, den interaktive versjonen av ARC-testen, og gjør det på 44 prosent av handlingene en menneskelig spiller trengte. Artikkelen ble lagt ut på arXiv 8. oktober.
ARC-AGI-3 slipper agenten ned i et rutenettspill uten instruksjoner. Den får ikke vite målet, kontrollene eller reglene, og den kan ikke lese kildekoden til miljøet. Alt må regnes ut ved å spille. Resultatene oppgis som Relative Human Action Efficiency, RHAE, som vekter hvert nivå etter hvor mange handlinger den menneskelige referansen trengte, og som har 100 som tak.
Agenten heter Memento 3 og når det taket: en gjennomsnittlig RHAE på 100,0 over alle 25 spill og 183 nivåer. Det uvanlige er at språkmodellen under aldri endres. Forfatterne kjører systemet i Claude Code med Claude Opus 5 som basismodell og resonneringsnivået satt til ekstra høyt, og vektene forblir frosne hele veien.
Læringen skjer i en fil, ikke i vektene
I stedet for å trene holder agenten en regelbok: et dokument på naturlig språk om hva den for øyeblikket tror om hvordan miljøet virker, der det den ennå ikke har funnet ut, med vilje står uspesifisert. Regelboken kompileres så til kjørbar Python, og programmet brukes til å forutsi hva spillet vil gjøre og til å planlegge.
Når en prediksjon slår feil, reviderer agenten regelboken og kompilerer på nytt. En revisjon godtas bare på to vilkår: modellen må vurdere at den nye koden er tro mot regelboken, og en cellenøyaktig gjennomspilling av det som faktisk skjedde i spillet, må gjenskape de observerte overgangene. Hele arbeidsområdet — regelbok og kompilerte moduler — ligger i et Git-arkiv som sjekkes inn og merkes etter hver iterasjon, og det er slik agenten kan trekke tilbake en hypotese et senere nivå motbeviser. Forfatterne beskriver dette som en modellbasert vei til rekursiv selvforbedring, og redegjør for en populasjonsvariant som holder flere konkurrerende verdensmodeller i gang parallelt og deler observasjoner mellom dem.
Den redelige sammenligningen er antallet handlinger
En takscore innbyr til en slurvete overskrift, så det er verdt å være presis på hva som er nytt. Memento 3 er ikke det første systemet som klarer alle de offentlige ARC-AGI-3-spillene. Nærmeste bidrag i artikkelens egen sammenligningstabell, baseline1, fikk 99,0 og klarte også alle 25. Deretter blir avstanden større: NOOA på 85,1 med 19 klarte spill, OPINE-World på 78,4 med 20, DreamTeam på 38,1 med 6 og Continual Harness på 20,5 med 3.
Det er i effektiviteten gapet åpner seg. Memento 3 fullfører settet på 7 518 handlinger mot baseline1s 8 347 og en menneskelig referanse på 17 135, et forhold på 0,44. Per spill ligger forholdet mellom 0,20 og 0,67, med medianen 0,42. Mot en Claude Opus 5 uten tillegg som kjører ARC Prize Standard harness, rapporterer artikkelen en gjennomsnittlig RHAE 59,3 poeng høyere — noe som sier mindre om Memento 3 enn om hvor mye av resultatet som kommer fra stillaset rundt modellen og ikke fra modellen selv.
Alle referansetallene, inkludert den menneskelige handlingsreferansen, er hentet fra hvert systems offisielle ARC Prize-protokoll, slik at alle kolonnene telles på samme måte.
Det artikkelen ikke hevder
Tallet 100,0 gjelder de 25 offentlige spillene. Artikkelen oppgir ikke noe resultat på et tilbakeholdt sett, og ARC Prize Foundations egen måling gjøres på spill deltakeren ikke har sett. Å mette den offentlige delen er et reelt ingeniørresultat; det er ikke det samme som at testen er løst, og de som forvalter den, har vært tydelige på at det er det private settet som teller.
Forfatterne prøvde også om samme mekanisme virker utenfor diskret planlegging. I en casestudie med Ataris Pong lærte agenten seg en tilbakekoblingsregulator som vant 21:0 i hver av tre evaluerte kamper med ulike åpninger, uten flere kall til språkmodellen etter at regulatoren var på plass.
Det som er verdt å følge, er om det dukker opp en ARC Prize-protokoll for Memento 3 på de tilbakeholdte spillene, og hvordan effektivitetstallet ser ut når miljøet er et som regelboken aldri har fått sjansen til å ta feil om.
