Nio utvärderingar, fyra lika stora fjärdedelar
Artificial Analysis byggde om sitt Intelligence Index den 27 oktober. Version 5 kör nio utvärderingar i fyra kategorier som väger 25 procent vardera: kunskapsarbete, kodning, vetenskap och allmän förmåga.
Kunskapsarbetet delas i AA-Briefcase med 15 procent, AutomationBench-AA med 5 och GDP.pdf med 5. Kodningen är FrontierCode 2.0 med 15 procent och Terminal-Bench 4.0 med 10. Vetenskapen är Terminal-Bench-Science med 15 procent och den svåra delmängden av CritPt v2 med 10. Den allmänna fjärdedelen är AA-Omniscience v1.1 med 15 procent, i sin tur delad i 10 procent träffsäkerhet och 5 procent frånvaro av hallucination, plus HLE-Diamond med 10.
Två utvärderingar är nya: FrontierCode 2.0, ett privat kodningstest från Cognition, och Terminal-Bench-Science, 70 agentiska forskningsuppgifter. Tre är uppgraderingar — HLE-Diamond ersätter Humanity’s Last Exam med en putsad version på 1 000 frågor, AA-Omniscience v1.1 rensar bort mättade och publika frågor och skriver om tvetydiga, och CritPt v2 bidrar med en privat svår delmängd på 40 frågor. Tre ströks: GDPval-AA v2.1, SciCode och AA-LCR v1.1. Artificial Analysis anger inga skäl för strykningarna.
Sextio procent av poängen är inte längre publik
Den strukturella förändringen är att 60 procent av indexet nu vilar på privata testmängder eller undanhållna svar. Artificial Analysis pekar uttryckligen ut FrontierCode 2.0 och den svåra delmängden av CritPt v2 som privata, och säger att AA-Omniscience behåller en privat mängd med en separat publik delmängd utlagd på Hugging Face. Vilka utvärderingar som utgör resten av de 60 procenten specificeras inte.
Skälet är kontaminering: ett test vars frågor ligger på det publika internet hamnar till slut i träningsdata, och poängen slutar mäta det den byggdes för att mäta. Priset är att en poäng som ingen utanför utvärderaren kan återskapa måste tas på förtroende.
Gapet för öppna vikter gick från 3 poäng till 12
Effekten på rankningen är ojämn. Under version 4.3 låg den bästa modellen med öppna vikter 3 poäng efter ledaren. Under version 5 är gapet 12.
Moonshots Kimi K3.1 Pro är det bästa bidraget med öppna vikter på 46 — och dess vikter har faktiskt inte släppts ännu. Bland modeller vars vikter är ute leder DeepSeek V4.1 Flash 1017 med maximalt resonerande och GLM-5.3 med maximalt resonerande på 32, vilket är 26 poäng efter toppen av tabellen. Anthropics egen lilla modell, Claude Haiku 5.5 med maximalt resonerande, får 36 och ligger över båda.
Toppen av tabellen, i ett dygn
Vid publiceringen läste indexet Claude Opus 5.5 med maximalt resonerande på 58, GPT-6 Astra på max 57 och GPT-6.1 Sol på max 55, med Anthropic och OpenAI på samtliga fem toppplatser och Gemini 4 Argon med högt resonerande närmast på 50.
Det höll i ett dygn. Google släppte Gemini 4 Carbon den 28 oktober, och Artificial Analysis gav den 59 och förstaplatsen i det nya indexet.
Vad man ska följa
Talet värt att följa är gapet, inte ledaren. En skillnad på 12 poäng mätt mest med prov som gemenskapen kring öppna vikter inte kan köra själv är ett annat slags påstående än en skillnad på 3 poäng på publika prov, och den första släppta modellen med öppna vikter som poängsätts under version 5 får visa om gapet är en egenskap hos modellerna eller hos mätningen.
