Femtio problem som ingen hade publicerat
En grupp fysiker har byggt ett test av 50 problem i teoretisk fysik på forskningsnivå som aldrig publicerats, vart och ett med ett kontrollerbart svar, och satt fem kommersiella AI-agenter på dem utan mänskliga ledtrådar. Artikeln, TheoPhysEval, lades upp på arXiv den 9 oktober. Författarna uppger att en världsledande expert på respektive specialitet vanligtvis skulle lösa ett av problemen på ungefär en dag eller mindre, medan en expert från ett angränsande fält skulle behöva betydligt längre tid.
Upplägget betyder mer än poängen. Problemen hämtades ur författarnas eget opublicerade arbete, vilket är det enda pålitliga sättet att vara säker på att en modell inte redan läst svaret. De spänner över klassisk fysik, stokastiska processer och biologisk fysik, icke-jämviktsstatistisk mekanik, gitterteorier, kvantfaser av materia, elektronstrukturteori och kvantfältteori.
Resultaten
Varje agent kördes i två spår: ett realistiskt med litteratursökning och möjlighet att skriva och köra skript, och ett isolerat utan internetåtkomst. I det realistiska spåret löste GPT-6-Astra kört i Codex 49 av 50. Claude Opus 5.5 i Claude Code CLI löste 46. Gemini 3.8 Flash i Antigravity löste 34, och de två modellerna med öppna vikter, DeepSeek-V4.1-Flash och GLM 5.3, löste 27 respektive 21.
Kostnaderna är lika slående som poängen. Författarna beräknar 116,28 dollar för Astras fullständiga körning i det realistiska spåret, vilket blir omkring 2,33 dollar per problem, mot 240,43 för Opus och 37,42 för DeepSeek. GLM:s körning täcktes av ett kodningsabonnemang till en faktisk kostnad av 180 dollar för båda spåren; till API-pris hade det blivit 311,71 och 371,46.
Att ta bort litteraturen hjälpte knappt
Fyndet författarna dröjer vid är det isolerade spåret. Astra och Opus löste båda 46 av 50 utan någon internetåtkomst — tre färre för Astra, exakt lika många för Opus. Gemini fick 31, GLM 26 och DeepSeek 25. Många av problemen kräver specifika formler och beteckningar från bestämda artiklar, och författarna skriver att en människa inte ens skulle kunna försöka sig på vissa av dem utan att slå upp bakgrundsartikeln. Att modellerna kan tyder, med artikelns ord, på en betydande memorering av fysikens forskningslitteratur.
Det enda problem Astra missade i det realistiska spåret var ett inverst problem — att återskapa en differentialekvation ur en given kurva — och ingen modell löste det. Allt som någon annan agent fick rätt var en delmängd av det Astra fick rätt.
Vad författarna själva flaggar för
Två förbehåll kommer inifrån artikeln. Varje agent kördes en gång per spår, så skillnaden mellan det realistiska och det isolerade spåret ligger inom utvärderingens statistiska osäkerhet. Och författarna bedömde först Astra som fel på flera problem, innan de upptäckte att deras egna facitlösningar innehöll subtila fel; när experterna rättat dem visade sig Astras svar vara korrekta varje gång.
Andelen lösta problem är högre än andra test i teoretisk fysik rapporterar, vilket författarna noterar och menar förtjänar en förklaring: de bedömer sina egna problem som mer avancerade vid genomgång och hänvisar till färska arbeten som tyder på att vissa fysiktest rättas felaktigt. Datamängden är publicerad, så skillnaden går att kontrollera i stället för att tas på förtroende.
