En enda uppgift skiljer toppen av tabellen
Av de 56 forskningsnära formaliseringsuppgifterna på Autoform-Hard löser både Claude Fable 5.2 och GPT-6.2 Sol 48. GPT-6.2 Astra löser samma 48 och en till, och ingen annan modell på tabellen löser den.
Den extra uppgiften är en sats från 2006 av Agata Smoktunowicz om hur snabbt en graderad algebra kan växa. Vals AI, som driver tabellen, skriver i ett inlägg den 18 november att det resulterande Lean-beviset är “den enda formalisering vi någonsin hört talas om” för den satsen.
Vad satsen säger, och vad körningen kostade
Påståendet är ett gapresultat. En ändligt genererad algebra över en kropp som är graderad av de naturliga talen, saknar nolldelare och har en ändligtdimensionell gradnolldel har Gelfand–Kirillov-dimension antingen högst 2 eller minst 3 — aldrig strikt däremellan.

Modellen arbetade ensam i en sandlåda med Lean, Mathlib och ett skal. Beviset är 1 794 rader Lean, tog 94 minuter i väggklocka och 146 agentturer, och kostade 21,58 dollar till OpenAI:s listpris. Autoform-Hard tillåter tre timmar och ett tak på 200 dollar per uppgift.
Det var nära att det inte blev av. Ungefär 47 minuter in lämnade modellen in ett bevis som var komplett för det kommutativa fallet men lämnade ett sorry i det allmänna. Rättaren underkände det, och modellen rapporterade ärligt att uppgiften var olöst. Riggen godtar inte att man ger upp förrän agenten gjort av med 20 dollar; modellen hade gjort av med omkring 8, så den skickades tillbaka. Den tänkte i nio minuter utan att skriva kod, började på ett annat angreppssätt, och rättaren godkände hela beviset 39 minuter efter rapporten om olöst.
Hur resultatet kontrollerades
Autoform-Hard rättar i renrum. Satsen byggs om från en betrodd kopia av uppgiften, formuleringen måste stämma exakt med originalet, benchmarkens definitioner måste vara orörda, och beviset får bara använda Leans standardaxiom. Sedan spelas det upp i en oberoende kärna. Vals granskade dessutom beviset för hand och rapporterar inget sorry, inget native_decide, inga nya axiom och inga omdefinierade benchmarkobjekt.
Beviset är ingen formalisering av Smoktunowicz argument. Efter en gemensam inledning går det sin egen väg, runt tre djupa resultat från algebra och algebraisk geometri som det publicerade beviset lutar sig mot och som inte finns i Mathlib. I stället definierade modellen en storhet den kallar “kapacitet” — hur mycket ett rum växer när det multipliceras med en fast genererande del — och byggde resten på den.

Så ser tabellen ut
På Autoform-Hards topplista ligger GPT-6.2 Astra först med 87,50 procent, till 15,24 dollar per uppgift. Claude Fable 5.2 och GPT-6.2 Sol delar andraplatsen med 85,71 procent, till 23,21 respektive 8,09 dollar per uppgift. Gemini 4 Carbon följer på 71,43 procent, Gemini 4 Hydrogen på 64,29 och Gemini 4 Argon på 48,21. Beam 1.0 och MiniMax-M3.1-Flash får noll.
Femtiosex uppgifter är en liten tabell, och uppgifterna valdes just för att ingen av de tio frontmodellerna i den ursprungliga AutoformBench-studien klarade dem. En uppgift flyttar poängen 1,8 enheter, vilket är precis marginalen mellan första och andra plats. Den underliggande benchmarken kommer från Meta FAIR; Vals rättade fem av uppgifterna, varav tre var falska som de var formulerade.