Att mäta valet, inte resultatet
De flesta utvärderingar av en forskningsagent frågar om dess resultat är något bra. En preprint som lades upp på arXiv den 29 oktober, rTaste: Do Research Agents Have Taste?, ställer en smalare och obekvämare fråga: vet agenten vilken av dess egna idéer som är värd att köra, innan någon vet hur den faller ut?
Uppställningen gör det mätbart. Sex frontmodeller får var sin uppsättning om sju färska artiklar inom språkteknologi. Ensam eller i grupp föreslår varje modell minimalt genomförbara experiment, förutsäger om vart och ett klarar en tröskel som modellen själv sätter, och rangordnar dem. Sedan försöker en separat exekverare sig på varje förslag — även de som den föreslående agenten placerade sist. Tre modellgranskare bedömer utfallen.
Att köra de bortvalda experimenten är designvalet som betyder något. Utan det går en rangordning inte att poängsätta, eftersom ingen vet vad de avfärdade alternativen skulle ha gett.
Vad 415 experiment gav
Agenterna genererade tillsammans 415 minimalt genomförbara experiment. Granskarna bedömde 194 av dem som hållbara, värdefulla och nya. Av dessa 194 bedömdes mindre än hälften — 73 — dessutom gå bortom ursprungsartikeln och vara icke-uppenbara.
Ungefär ett förslag av sex klarar alltså den högre ribban. Det är ingen förkrossande siffra för en automatiserad kedja. Problemet artikeln pekar ut är vad som händer sedan.
Rangordningen förtjänar inte sin plats
Agenternas förstahandsval sammanfaller med granskarnas högst värderade experiment oftare än ett slumpmässigt val skulle göra. Men, skriver författarna, det visas inte att dessa val är bättre än en betydligt enklare regel: att ta det experiment agenten skrev först.
Prognoserna går det likartat för. De slår en basnivå, men är inte mätbart mer träffsäkra än de som en färsk instans av samma modell gör när den bara får artikeln och registreringarna — alltså en instans utan något av det sammanhang den föreslående agenten byggt upp.
Och grupper, den uppställning man brukar ta till när en ensam agent presterar dåligt, kostar mer utan någon tydlig övergripande förbättring av förslagens kvalitet.
Vad resultatet gäller
Artikelns egen sammanfattning är återhållsam: agenterna producerar många värdefulla experiment, men belägget för att deras rangordning förbättrar valet av vilket som ska köras är fortfarande begränsat. Det är ett påstående om en förmåga, inte om forskningsagenter i allmänhet.
Gränserna är värda att nämna. Sju språkteknologiska artiklar är en liten startmängd från ett enda fält. Bedömningarna av hållbarhet, värde och nyhet kommer från modellgranskare snarare än mänskliga granskare, vilket lägger en modells omdöme i händerna på andra modeller. Och designen som gör rangordningen mätbar — att köra varje förslag, även de bortvalda — är dyr nog att begränsa hur stort riktmärket kan bli.
Författarna har släppt utvärderingsramverket och en datamängd med alla 415 förslag, deras prognoser och de granskade utfallen. För den som bygger ett system som sätter sin egen forskningsagenda är det användbara fyndet var man ska lägga kraften: att generera kandidater tycks fungera; att välja mellan dem har ännu inte visats göra det.
