Ett test byggt av forskning, inte av kursuppgifter
En grupp vid Tsinghua-universitetet, Moonshot AI och Shanghai Qizhi-institutet har släppt TCSExam, ett test som ber språkmodellsagenter att bedriva teoretisk datavetenskap i stället för att svara på frågor om den. Artikeln lades upp på arXiv den 5 november; bland författarna finns Zhilin Yang från Moonshot AI och Andrew Chi-Chih Yao från Tsinghua.
Fulluppsättningen är 100 expertgranskade uppgifter i fyra spår. Tjugo är forskningsteorem som ska bevisas i Lean 4, där kärnan avgör om inlämningen räknas. Trettio är lösarbyggen, där agenten lämnar in ett återanvändbart program som körs över instansfamiljer. Tjugo är konstruktioner som poängsätts mot dokumenterade rekord. De sista trettio är öppna förmodanden: bevisa påståendet eller dess negation, och inget mindre än ett fullständigt bevis räknas som en lösning.
Tabellen
Åtta agenter kördes på fulluppsättningen. GPT-6 Astra leder det sammanslagna TCSExam-indexet med 71,9, före Kimi K3.1 Pro på 57,4, Kimi K3 på 46,8, oktoberbygget av DeepSeek V4.1 Flash på 46,0, GLM-5.3 på 45,5, Qwen3.8 Max på 44,8, Grok 4.6 på 40,5 och septemberbygget av DeepSeek på 40,4.
En Lite-delmängd på 20 uppgifter, fem per spår, skär ned antalet försök med 80 procent vid samma budget per försök. Nio agenter kördes på den, och Opus 5.5 — som inte kördes på fulluppsättningen — toppar den med 72,3, före GPT-6 Astras 67,0. De två uppsättningarna rangordnar de åtta gemensamma agenterna nästan identiskt, med ett Spearmans rho på 0,93.
Ingen stängde ett förmodande
Spåret med öppna förmodanden är där testet är mest användbart och minst smickrande. Författarna rapporterar ingen godkänd fullständig lösning på något öppet förmodande.
Två inlämningar godkändes, och artikeln är tydlig med vad de var. Kimi K3.1 Pro och oktoberbygget av DeepSeek hämtade motexempel och Lean-bevis som OpenAI redan hade publicerat för Rysers förmodan och den modifierade heltalsavrundningsförmodan, och anpassade dem till uppgiftsdefinitionerna. Artikeln noterar att uppgifterna skrevs före OpenAI:s publicering.
Det enda genuint nya resultatet är smalare och bättre underbyggt. GPT-6 Astra bevisade Alon–Jaeger–Tarsis förmodan över kroppen med fem element för varje n upp till 9, med räkneidentiteter och ett exakt heltalscertifikat för att utesluta ett minimalt motexempel. Artikeln säger att en oberoende Lean-verifiering bekräftar det med enbart standardaxiom, och att det utvidgar tidigare resultat som nådde n ≤ 7 och n ≤ 8. Ytterligare fyra verifierade specialfall ligger i appendix.
Läs författarraden
Poängen är testteamets egna, och två av författarna arbetar på Moonshot AI, vars Kimi-modeller tar andra och tredje plats på fulluppsättningen. Opus 5.5 finns bara på Lite, så dess 72,3 kan inte ställas mot GPT-6 Astras 71,9 på fulluppsättningen.
Det är värt att hålla isär vad testet faktiskt mäter. Ett Lean-kontrollerat bevis av ett specialfall är ett verifierbart bidrag; att hämta ett publicerat motexempel och formatera om det är inte samma sak, och TCSExam är en av få utvärderingar som skiljer dem åt i text.
