Ett test skrivet ur levande forskning, inte ur läroböcker
FrontierMat, som beskrivs i en artikel upplagd på arXiv den 30 oktober av en grupp på 23 författare ledd av Feng Chen och Jianguo Huang, innehåller 330 expertgranskade problem hämtade ur pågående forskning inom flyg och rymd, halvledare, förkroppsligad intelligens och fusionskraft.
Uppgiften handlar inte om att minnas. Varje problem håller antingen tillbaka ett experimentresultat och ber modellen sluta sig till det, eller lägger fram en uppsättning experimentella belägg och frågar vilken slutsats de stöder. Problemen märks med funktionsområde, materialsystem och mekanismskala, och 130 av de 330 kräver resonemang över mer än en skala — att koppla något som händer på atomnivå till en egenskap som mäts på komponentnivå.
Resultaten
Den starkaste allmänna modellen som testades nådde 53,7 procent. På problem som matchats för svårighet fick posterna över flera skalor 8,7 poäng lägre än de med en enda skala, vilket är artikelns renaste belägg för att den specifika svagheten är att brygga mellan skalor och inte materialkunskap i allmänhet.
Fördelningen betyder lika mycket som medelvärdet. Hälften av de 330 problemen löstes av högst en av de testade modellerna. Ett test där hälften av posterna löses nästan unikt är ett test där det samlade resultatet rör sig på ett fåtal frågor, och författarna publicerar siffran i stället för att begrava den.
Det felmönster de redovisar ryms i en mening och är artikelns mest citerbara rad: modellerna faller främst på att “välja det som är rimligt i stället för det som observerades”. Det är ett annat fel än att inte kunna kemin. Det är felet att skriva det svar litteraturen skulle förutsäga när experimentet framför dig gjorde något annat.
Anpassning till området slöt gapet
Artikeln rymmer också en anpassningsstudie: fortsatt förträning plus självdestillation på en modell med öppna vikter. Den modellen gick från 36,7 till 55,4 procent på FrontierMat, vilket författarna redovisar som i nivå med den starkaste proprietära modell de testade. De uppger också att den anpassade modellen förbättrades på offentliga materialtest utan att de samlade resultaten på allmänna test gick ned — den vanliga kostnaden för den här sortens specialisering.
Alla dessa siffror är författarnas egna, körda av en grupp som inkluderar forskare verksamma i de materialfält problemen kommer från. Det finns ännu ingen oberoende utvärdering av FrontierMat, och testet mäter skrivet resonemang om experiment, inte laboratoriearbete: en korrekt slutsats här är inget belägg för att en syntes skulle lyckas.
Vad som är värt att följa
Nästa användbara steg är att någon utanför författargruppen kör spetsmodeller på alla 330 och publicerar resultat per område. Till dess är siffran att bära med sig inte 53,7 procent utan straffet på 8,7 poäng över flera skalor, som är den del av resultatet som beskriver en förmåga och inte en placering i en tabell.
