Femti oppgaver ingen hadde publisert
En gruppe fysikere har bygget en test av 50 oppgaver i teoretisk fysikk på forskningsnivå som aldri er publisert, hver med et etterprøvbart svar, og satt fem kommersielle KI-agenter til å løse dem uten hint fra mennesker. Artikkelen, TheoPhysEval, ble lagt ut på arXiv 9. oktober. Forfatterne oppgir at en verdensledende ekspert på det aktuelle feltet gjerne ville løst en av oppgavene på om lag en dag eller mindre, mens en ekspert fra et nabofelt ville brukt betydelig lengre tid.
Designet betyr mer enn poengsummene. Oppgavene er hentet fra forfatternes eget upubliserte arbeid, som er den eneste pålitelige måten å være sikker på at en modell ikke allerede har lest svaret. De spenner over klassisk fysikk, stokastiske prosesser og biologisk fysikk, ikke-likevektsstatistisk mekanikk, gitterteorier, kvantefaser av materie, elektronstrukturteori og kvantefeltteori.
Resultatene
Hver agent ble kjørt i to spor: et realistisk med litteratursøk og mulighet til å skrive og kjøre skript, og et isolert uten internettilgang. I det realistiske sporet løste GPT-6-Astra kjørt i Codex 49 av 50. Claude Opus 5.5 i Claude Code CLI løste 46. Gemini 3.8 Flash i Antigravity løste 34, og de to modellene med åpne vekter, DeepSeek-V4.1-Flash og GLM 5.3, løste 27 og 21.
Kostnadene er like slående som poengene. Forfatterne beregner 116,28 dollar for Astras fulle kjøring i det realistiske sporet, altså rundt 2,33 dollar per oppgave, mot 240,43 for Opus og 37,42 for DeepSeek. GLMs kjøring ble dekket av et kodeabonnement til en faktisk kostnad på 180 dollar for begge spor; til API-priser ville det blitt 311,71 og 371,46.
Å ta bort litteraturen hjalp knapt
Funnet forfatterne dveler ved, er det isolerte sporet. Astra og Opus løste begge 46 av 50 uten internettilgang — tre færre for Astra, nøyaktig like mange for Opus. Gemini fikk 31, GLM 26 og DeepSeek 25. Mange av oppgavene krever bestemte formler og notasjoner fra bestemte artikler, og forfatterne skriver at et menneske ikke engang kunne forsøke seg på noen av dem uten å slå opp bakgrunnsartikkelen. At modellene kan, tyder ifølge artikkelen på betydelig memorering av forskningslitteraturen i fysikk.
Den ene oppgaven Astra bommet på i det realistiske sporet, var et invers problem — å finne en differensialligning ut fra en gitt kurve — og ingen modell løste den. Alt de andre agentene fikk riktig, var en delmengde av det Astra fikk riktig.
Hva forfatterne selv flagger
To forbehold kommer fra artikkelen selv. Hver agent ble kjørt én gang per spor, så forskjellen mellom det realistiske og det isolerte sporet ligger innenfor den statistiske usikkerheten i evalueringen. Og forfatterne vurderte først Astra som feil på flere oppgaver, før de oppdaget at deres egne fasitløsninger inneholdt subtile feil; da ekspertene hadde rettet dem, viste Astras svar seg å være riktige hver gang.
Andelen løste oppgaver er høyere enn andre tester i teoretisk fysikk rapporterer, noe forfatterne merker seg og mener fortjener en forklaring: ved gjennomgang vurderer de sine egne oppgaver som mer avanserte, og viser til nyere arbeid som tyder på at enkelte fysikktester rettes feil. Datasettet er publisert, så avviket kan etterprøves i stedet for å tas på tro.
