Premissen som just föll på ett prov
Kemiska grundmodeller finns på grund av ett dataproblem. Molekylstrukturer finns det gott om; experimentella mätningar gör det inte. Modeller som ChemBERTa och MoLFormer förtränades på stora samlingar av molekylstrukturer just för att en forskare med färre än hundra mätningar — det realistiska fallet i de flesta kemilabb — skulle kunna finjustera en och få en användbar egenskapsprediktor.
En artikel som lades upp på arXiv den 30 oktober prövade om det fortfarande gäller mot allmänna frontmodeller, och redovisar att det inte gör det.
Sextio datapunkter
På fem regressionsuppgifter inom fysikalisk och kvantkemi, med bara 60 experimentella datapunkter tillgängliga, slog GPT-6 Astra de kemiska grundmodeller som författarna bedömde som aktuella.
Det är precis det databristläge som specialmodellerna byggdes för. Att förlora där är inget marginellt resultat; det är en förlust på hemmaplan.
Växelkursen
Den mer användbara siffran är hur mycket data specialisterna behöver för att komma ikapp. Författarna anger ungefär en faktor tio.
Med 1 000 datapunkter når de bästa kemiska modellerna den prestanda GPT-6 Astra klarar på 60. Med 10 000 når de det Astra klarar på 1 000. Specialmodellerna är inte sämre i någon abstrakt mening — de ligger efter med ungefär en tiopotens experimentellt arbete, vilket i ett våtlabb är skillnaden mellan en termin och flera år.
Vad författarna tror händer
Förklaringen de erbjuder handlar om vad de två modelltyperna tränades på. Kemiska grundmodeller lärde sig av molekylstrukturer. Allmänna modeller tränades på nära nog all offentligt tillgänglig text, vilket inkluderar den samlade mänskliga litteraturen om molekylers egenskaper och de fysikaliska lagar som styr dem.
Innebörden är att det en frontmodell tar med sig in i en kemiuppgift inte är strukturell mönsterigenkänning utan något närmare fältets skrivna kunskap — och att den förkunskapen i databristlägen är värd mer än en förträning enbart på strukturer.
Vad artikeln inte avgör
Jämförelsen namnger GPT-6 Astra och Claude Opus 5.5 som den allmänna sidan. Det är slutna modeller som bara nås via API, så resultatet är inte reproducerbart på det sätt en jämförelse mellan två öppna kemimodeller skulle vara, och det är känsligt för vilka versioner som levererades under utvärderingsfönstret. Det täcker dessutom regressionsuppgifter om fysikalisk-kemiska och kvantkemiska egenskaper, inte syntesplanering, reaktionsprediktion eller något som kräver ett labb.
En allmän modell som läst kemilitteraturen kan också ha läst just de mätningar som ingår i en testuppsättning. Artikelns inramning löser inte kontaminationsfrågan för läsaren.
Vad man ska följa
Om tiofaldigheten håller ändras det praktiska rådet för ett labb med sextio mätningar: börja med en frontmodell, inte en kemisk. Håll utkik efter oberoende replikering på undanhållna mätningar som samlats in efter modellernas träningsgräns, vilket är den enda version av det här provet som avgör kontaminationsinvändningen.
