Återskapa först, upptäck sedan
En artikel som lades upp på arXiv den 29 oktober hävdar att AI-system bör visa att de kan återskapa etablerade vetenskapliga resultat innan någon litar på dem för att ta fram nya. Riktmärket den presenterar, PAPERBENCHX, ställer 93 expertkonstruerade uppgifter i att återskapa artiklar inom 12 forskningsområden, bland dem elektromagnetism, fotonik, kemi, materialvetenskap, biologi och robotik.
Huvudresultatet är smalt. Av tio uppsättningar av frontagenter återskapade den bästa helt endast 14 procent av uppgifterna vid riktmärkets tröskel på 90 procent. Medelpoängen enligt bedömningsmallen för dessa uppsättningar låg mellan 27,53 och 59,08 procent — tillräckligt för att visa verklig delvis förmåga, och långt ifrån ett tillförlitligt resultat.
Varför det inte räcker att poängsätta resultatet
Det designval som skiljer PAPERBENCHX från tidigare riktmärken för återskapande är vad som bedöms. Inlämningar körs om från början, och bara den återskapade evidensen poängsätts mot expertgranskade kriterier. En agent kan inte klara sig genom att beskriva en metod övertygande eller lämna in kod som ser rätt ut: koden måste köra och siffrorna måste komma tillbaka.
Det spelar roll eftersom det felläge författarna söker är precis det som en textpoäng döljer. Artikeln beskriver glappet som avståndet mellan att förstå en artikel och att tillförlitligt framställa reproducerbar evidens ur den, och det är den senare saken vetenskapligt arbete vilar på.
Att ta sig utanför maskininlärningen är det svåra
Befintliga riktmärken för återskapande ligger mest inom AI och maskininlärning, där verktygen är bekanta och miljöerna likartade. Författarna menar att steget utanför den cirkeln är svårare av skäl som har lite med resonemangsförmåga att göra: agenterna måste köra specialiserad vetenskaplig programvara, fatta fysikaliska och numeriska modelleringsbeslut, felsöka beräkningar som kör länge innan de havererar, och skilja giltig evidens från utdata som bara ser rimlig ut.
Var och en av dem är en plats där en agent som skriver bra kod ändå kan producera fel siffra utan att märka det. En simulering som konvergerar mot fel svar ser utifrån likadan ut som en som konvergerar mot rätt.
Vad spridningen säger
Avståndet mellan 14 procents fullständigt återskapande och medelpoäng i spannet 27,53 till 59,08 procent är det intressanta. Agenterna får betydande delar av återskapandena rätt — bygger miljöer, kör experiment, producerar utdata — men når sällan ända fram till ett resultat som stämmer med artikeln. Delpoäng är inte vad ett återskapande är till för.
Vad som är värt att följa
Riktmärkets värde beror på om dess 93 uppgifter håller när modellerna blir bättre, och på om andra grupper kan poängsätta mot samma expertgranskade kriterier utan författarna inblandade. Artikelns egen slutsats är den att ta med sig: det finns fortfarande ett stort glapp mellan att förstå en artikel och att tillförlitligt framställa reproducerbar evidens, och glappet är bredare utanför maskininlärningen än inom den.
