En Google-modell i topp, och ett femtonfaldigt prisglapp under

Gemini 4 Carbon, körd i sitt “höga” resonemangsläge, leder nu MathArena, tabellen som poängsätter modeller på matematiktävlingar som hållits efter att modellen släppts. Dess förväntade prestation är 85,4% ±3,0%, före Claude Fable 5.2 (max) på 82,8% ±5,3% och OpenAI:s GPT-6.1 Sol (max) på 80,6% ±2,7%.

Kolumnen bredvid poängen är den som är värd att läsa. MathArena redovisar den genomsnittliga dollarkostnaden för en enda körning på ett enda problem, och på det måttet vänds rangordningen. Gemini 4 Carbon kostar 15,70 dollar ±1,33 per problem. Claude Fable 5.2 kostar 40,20 ±2,59. GPT-6.1 Sol kostar 1,07 ±0,018 — ungefär en femtondel av ledarens pris för 4,8 procentenheter lägre träffsäkerhet, och en trettiosjundedel av tvåans.

Konfidensintervallen spelar också roll. Avståndet mellan första och andra plats är 2,6 enheter, medan intervallen runt dem är ±3,0 och ±5,3. Enligt tabellens egna siffror överlappar första och andra plats varandra.

En klockurtavla på en enkel vägg
Gemini 4 Carbons vanligaste fel är att överskrida tidsgränsen. Illustrationsbild. Mikhail Nilov · pexels · Pexels License

Varför tävlingar som hållits efter lanseringen

MathArenas konstruktion svarar direkt mot kontamineringsproblemet. I stället för att hämta ur uppgiftssamlingar som kan ha cirkulerat i träningsdata körs modellerna på tävlingar inom några dagar efter att de ägt rum, varje problem upprepas flera gånger, och poängen normaliseras per tävling så att en svår tävling inte dominerar snittet. Tävlingar pensioneras när deras uppgifter varit offentliga tillräckligt länge för att räknas som komprometterade. Huvudsiffran är ett snitt över dem som fortfarande räknas som aktuella.

Det gör den till en av få offentliga matematiktabeller där en hög poäng inte kan förklaras med att modellen sett svaret. Det gör också siffrorna brusigare än i ett fast testbatteri, vilket är varför de publicerade intervallen är så breda som de är.

Vad Gemini 4 Carbon gör fel

The Decoder rapporterade den 14 november, med hänvisning till ett inlägg av MathArenas Jasper Dekoninck, att modellens vanligaste felläge är att överskrida tidsgränsen snarare än att nå fram till ett felaktigt svar. Den överger nästan aldrig en uppgift. I ett fall körde den ett skript i mer än elva timmar utan att kontrollera hur det gick.

Om det är en dygd beror på vad poängen är till för. En modell som fortsätter arbeta är användbar för en forskare med ett svårt problem och dyr för den som betalar per körning. På ett testbatteri med tidsgräns är det helt enkelt en förlust.

En myntdriven parkeringsautomat på en gata
Tabellen redovisar kostnad per problem vid sidan av träffsäkerhet. Illustrationsbild. Raphael Loquellano · pexels · Pexels License

Glappet till de öppna modellerna

Den bästa posten med öppna vikter på tabellen är Moonshot AI:s Kimi K3.1 Pro (max), på 54,3% ±5,8% för 3,70 dollar ±0,27 per problem. Det är drygt 31 enheter efter ledaren — ett större glapp än vad de öppna och slutna skikten visar på de flesta allmänna testbatterier, och en påminnelse om att tävlingsmatematik är ett av de områden där fronten fortfarande är tydligt åtskild.

Vad man ska följa

Två saker. Det första är om kostnadskolumnen förändrar någons läsning av de här tabellerna: en topplista som publicerar pris vid sidan av träffsäkerhet gör det svårare att lägga fram en toppnotering utan att säga vad den kostade. Det andra är nästa pensioneringsomgång. Eftersom MathArena plockar bort tävlingar när de åldras kan en modells placering röra sig utan att modellen förändras alls, och den nuvarande ordningen är en ögonblicksbild av vilka tävlingar som fortfarande räknas.