Halvtreds opgaver, ingen havde offentliggjort
En gruppe fysikere har bygget en test af 50 opgaver i teoretisk fysik på forskningsniveau, som aldrig er offentliggjort, hver med et svar der kan efterprøves, og sat fem kommercielle AI-agenter til at løse dem uden hjælp fra mennesker. Artiklen, TheoPhysEval, blev lagt på arXiv 9. oktober. Forfatterne oplyser, at en førende ekspert i det pågældende felt typisk ville løse en af opgaverne på omkring en dag eller mindre, mens en ekspert fra et nabofelt ville være betydeligt længere tid om det.
Designet betyder mere end pointene. Opgaverne er hentet fra forfatternes eget upublicerede arbejde, hvilket er den eneste pålidelige måde at sikre, at en model ikke allerede har læst svaret. De spænder over klassisk fysik, stokastiske processer og biologisk fysik, ikke-ligevægtsstatistisk mekanik, gitterteorier, kvantefaser af stof, elektronstrukturteori og kvantefeltteori.
Resultaterne
Hver agent blev kørt i to spor: et realistisk med litteratursøgning og mulighed for at skrive og køre scripts, og et isoleret uden internetadgang. I det realistiske spor løste GPT-6-Astra kørt i Codex 49 af 50. Claude Opus 5.5 i Claude Code CLI løste 46. Gemini 3.8 Flash i Antigravity løste 34, og de to modeller med åbne vægte, DeepSeek-V4.1-Flash og GLM 5.3, løste 27 og 21.
Omkostningerne er lige så slående som pointene. Forfatterne beregner 116,28 dollar for Astras fulde kørsel i det realistiske spor, hvilket giver omkring 2,33 dollar per opgave, mod 240,43 for Opus og 37,42 for DeepSeek. GLM’s kørsel blev dækket af et kodningsabonnement til en faktisk pris på 180 dollar for begge spor; til API-takster ville det have kostet 311,71 og 371,46.
At fjerne litteraturen hjalp næsten ikke
Det fund, forfatterne dvæler ved, er det isolerede spor. Astra og Opus løste begge 46 af 50 uden nogen internetadgang — tre færre for Astra, præcis lige så mange for Opus. Gemini fik 31, GLM 26 og DeepSeek 25. Mange af opgaverne kræver bestemte formler og betegnelser fra bestemte artikler, og forfatterne skriver, at et menneske ikke engang kunne forsøge sig med nogle af dem uden at slå baggrundsartiklen op. At modellerne kan, tyder ifølge artiklen på betydelig memorering af forskningslitteraturen i fysik.
Den ene opgave, Astra missede i det realistiske spor, var et omvendt problem — at finde en differentialligning ud fra en given kurve — og ingen model løste den. Alt, hvad de øvrige agenter fik rigtigt, var en delmængde af det, Astra fik rigtigt.
Hvad forfatterne selv gør opmærksom på
To forbehold kommer fra artiklen selv. Hver agent blev kørt én gang per spor, så forskellen mellem det realistiske og det isolerede spor ligger inden for evalueringens statistiske usikkerhed. Og forfatterne vurderede først Astra som forkert på flere opgaver, før de opdagede, at deres egne facitløsninger indeholdt subtile fejl; da eksperterne havde rettet dem, var Astras svar rigtige hver gang.
Andelen af løste opgaver er højere, end andre test i teoretisk fysik rapporterer, hvilket forfatterne noterer og mener fortjener en forklaring: ved gennemgang vurderer de deres egne opgaver som mere avancerede, og de henviser til nyere arbejde, der tyder på, at nogle fysiktest bliver rettet forkert. Datasættet er offentliggjort, så forskellen kan efterprøves frem for at skulle tages på tro.
