Att mäta om en modell kan upptäcka något är svårt, eftersom nästan varje riktmärke har ett svar modellen kan ha läst. ExplorationBench, som lades ut på arXiv den 25 september av forskare vid Tencent Hunyuan tillsammans med Fudans och Tsinghuas universitet, kringgår det genom att bygga världar vars regler medvetet motsäger välkänd kunskap.
Riktmärket består av två sandlådor. AlienCode är ett litet beräkningsspråk vars operatorer ser bekanta ut och beter sig annorlunda, med 31 upptäcktsmål och 70 uppgifter som rättas av en tolk på hemliga indata. AlienLogic innehåller 24 slutledningsregler och ber systemen bygga giltiga bevis eller peka ut omöjliga sådana i 70 uppgifter.
Startresultaten är poängen
Ingen körning i AlienCode startar över 15,7 procent. Det är precis den siffra riktmärket är byggt för att producera: ett system kan inte minnas sig in i dessa världar, eftersom de rätta svaren motsäger dem det lärt sig.
Efter fyra rundor av sondering och observation når det bästa systemet 89,0 procent. Samma antal turer utan återkoppling lämnar systemen mellan 0,5 och 11,0 procent. Avståndet mellan de två siffrorna är hela mätningen: det är värdet av att göra ett experiment och läsa utfallet, isolerat från allt annat modellen kan.
Att välja experimentet ingår i färdigheten
Artikelns mest intressanta kontroll låter system spela upp sonderingar som ett annat system valt. Nio av tio presterade sämre på AlienCode på det sättet än när de valde sina egna sonderingar.
Det är ett resultat om handlingsförmåga snarare än om kunskap. Informationsinnehållet i sonderingarna var identiskt; det som skilde var om systemet hade ett skäl att göra dem, och därmed om det visste vad det skulle leta efter i utdata.
Att kunna regeln räcker inte
Artikeln rapporterar ytterligare en siffra värd att behålla. Även när ett system korrekt anger varje regel som en uppgift kräver löser det uppgiften bara 73,4 procent av gångerna. Upptäckt och tillämpning glider isär: en modell kan beskriva mekanismen den just hittat och ändå misslyckas med att använda den.
Förbehåll
Världarna är syntetiska och små, och riktmärket publiceras av ett av de labb vars modeller det utvärderar. Upptäcktsmålen är dessutom fasta, vilket innebär att resultaten tappar betydelse så snart uppgifterna når träningsdata — det vanliga ödet för varje riktmärke vars svar är offentliga.
Vad som är värt att följa
Om en oberoende grupp kör frontmodeller på det och publicerar tabellen, och om uppspelningskontrollen håller. Om det att välja sitt eget experiment tillförlitligt slår att få samma underlag serverat, är det en mätbar egenskap värd att bygga utvärderingar kring.
