Låt modellen bygga sin egen ställning
Jens Lehmann och Sahar Vahdati har publicerat en kontrollerad studie på arXiv som frågar om en frontmodell kan skriva och sedan förbättra den agentsele som styr den — koden som orkestrerar modellanrop, håller tillstånd och avgör nästa steg. De lade upp den den 21 oktober.
Upplägget är medvetet rent. Varje modell bygger en sele, testar den på fem utvecklingsspel från ARC-AGI-3 och reviderar den två gånger. Prestandan mäts sedan på tjugo offentliga spel som hållits helt utanför bygge och revidering. Måttet, relativ mänsklig handlingseffektivitet, kombinerar nivåklarande med handlingseffektivitet mot dolda mänskliga baslinjer: att klara en nivå inom fem gånger det mänskliga antalet handlingar ger poäng per nivå, med tak på 115 och större vikt på senare nivåer.
Nio modell- och ansträngningsvillkor kördes över sju modellfamiljer, med tre oberoende konstruktioner var, totalt 27 släktled. Bland familjerna finns GPT-6 Astra, fyra GPT-5.6-varianter, Claude Fable 5, Claude Opus 5 och Claude Sonnet 5.
Siffran som rymmer noll
Efter två revideringar steg den undanhållna medelpoängen med 2,80 punkter, med ett 95-procentigt bootstrapintervall från −1,44 till 7,35. Intervallet rymmer noll, så studien kan inte skilja vinsten från brus. Femton släktled blev bättre och tolv blev sämre, en fördelning som ett tvåsidigt teckentest sätter till p = 0,70.
Medelpoängen på utvecklingsspelen steg med 8,42 punkter under samma två revideringar. Skillnaden mellan de två — 5,62 punkter, intervall 1,78 till 9,77 — är det författarna kallar anpassningsgapet, och det är resultatet som faktiskt skiljer sig från noll. Att revidera en sele mot fem spel förbättrar den tillförlitligt på de fem spelen, och den förbättringen överförs inte.
De undanhållna startpoängen låg i snitt på 24,54 och sträckte sig från 0 till 97,14, vilket är det andra värt att notera: variationen mellan släktled är långt större än variationen från att revidera något av dem.
Billigare, inte bättre
Kostnaden rörde sig mer än förmågan. Medelkostnaden för att klara ett undanhållet spel föll från 10,30 dollar inledningsvis till 7,15 efter en revidering och 7,57 efter två. Men medianförändringen var bara 54 cent, mot ett medelfall på 2,72 dollar — några få släktled hittade stora besparingar och de flesta inga alls.
Av de 27 avkomlingarna efter andra revideringen förbättrade nio både poäng och kostnad, nio blev billigare men sämre, sex fick högre poäng till högre kostnad och tre blev sämre på båda. Hela försöksprogrammet kostade minst 18 129,27 dollar enligt artikelns egen prislista.
Mot de handbyggda systemen
Författarna ställer sina resultat bredvid människostyrda selar som rapporterats på annat håll, med reservationen att de systemen använde andra utvecklings- och urvalsförfaranden, så jämförelsen isolerar inte effekten av mänsklig styrning.
Siffrorna är ändå tydliga. Tycho når 100 på alla offentliga spel med två modeller, VISTA och AVO når 100 med Opus 5, och Retrodict når 99,86. En generisk Claude Code-baslinje får 42,83 mot 98,98 för samma projekts specialbyggda världsmodellsele. Det bästa autonomt byggda släktledet här nådde 97,14; det typiska började nära 24.
Vad man ska följa
Den ärliga läsningen är att autonomt selbygge fungerar ibland och att studien inte kan säga i förväg vilken gång. Det är ett annat påstående än att självförbättring inte fungerar, och författarna gör inte det starkare.
Vad den fastslår är en metodologisk fälla värd att namnge. En utvecklingsmängd på fem spel ger en tydlig, reproducerbar förbättringssignal som mest mäter anpassning till just de fem spelen. Den som rapporterar en självförbättrande agent utan en undanhållen mängd rapporterar 8,42, inte 2,80.
