Ni evalueringer, fire like fjerdedeler
Artificial Analysis bygde om sin Intelligence Index 27. oktober. Versjon 5 kjører ni evalueringer i fire kategorier som veier 25 prosent hver: kunnskapsarbeid, koding, vitenskap og allmenn evne.
Kunnskapsarbeid deles i AA-Briefcase med 15 prosent, AutomationBench-AA med 5 og GDP.pdf med 5. Koding er FrontierCode 2.0 med 15 prosent og Terminal-Bench 4.0 med 10. Vitenskap er Terminal-Bench-Science med 15 prosent og den vanskelige delmengden av CritPt v2 med 10. Den allmenne fjerdedelen er AA-Omniscience v1.1 med 15 prosent, selv delt i 10 prosent treffsikkerhet og 5 prosent fravær av hallusinasjon, pluss HLE-Diamond med 10.
To evalueringer er nye: FrontierCode 2.0, en privat kodetest fra Cognition, og Terminal-Bench-Science, 70 agentiske forskningsoppgaver. Tre er oppgraderinger — HLE-Diamond erstatter Humanity’s Last Exam med en pusset versjon på 1 000 spørsmål, AA-Omniscience v1.1 fjerner mettede og offentlige spørsmål og omarbeider tvetydige, og CritPt v2 bidrar med en privat vanskelig delmengde på 40 spørsmål. Tre falt ut: GDPval-AA v2.1, SciCode og AA-LCR v1.1. Artificial Analysis oppgir ingen grunner for strykningene.
Seksti prosent av poengsummen er ikke lenger offentlig
Den strukturelle endringen er at 60 prosent av indeksen nå hviler på private testmengder eller tilbakeholdte svar. Artificial Analysis peker uttrykkelig på FrontierCode 2.0 og den vanskelige delmengden av CritPt v2 som private, og sier at AA-Omniscience beholder en privat mengde med en separat offentlig delmengde lagt ut på Hugging Face. Hvilke evalueringer som utgjør resten av de 60 prosentene, spesifiseres ikke.
Grunnen er forurensning: en test der spørsmålene ligger på det åpne internett, havner til slutt i treningsdata, og poengsummen slutter å måle det den ble bygd for å måle. Prisen er at en poengsum ingen utenfor evaluatoren kan gjenskape, må tas på tillit.
Gapet for åpne vekter gikk fra 3 poeng til 12
Virkningen på rangeringen er skjev. Under versjon 4.3 lå den beste modellen med åpne vekter 3 poeng bak lederen. Under versjon 5 er gapet 12.
Moonshots Kimi K3.1 Pro er det beste bidraget med åpne vekter på 46 — og vektene er faktisk ikke sluppet ennå. Blant modeller der vektene er ute, leder DeepSeek V4.1 Flash 1017 med maksimal resonnering og GLM-5.3 med maksimal resonnering på 32, altså 26 poeng bak toppen av tabellen. Anthropics egen lille modell, Claude Haiku 5.5 med maksimal resonnering, får 36 og ligger over begge.
Toppen av tabellen, i ett døgn
Ved publisering viste indeksen Claude Opus 5.5 med maksimal resonnering på 58, GPT-6 Astra på maks 57 og GPT-6.1 Sol på maks 55, med Anthropic og OpenAI på alle fem toppplasser og Gemini 4 Argon med høy resonnering nærmest på 50.
Det varte ett døgn. Google slapp Gemini 4 Carbon 28. oktober, og Artificial Analysis ga den 59 og førsteplassen i den nye indeksen.
Hva man bør følge
Tallet verdt å følge er gapet, ikke lederen. En forskjell på 12 poeng målt mest på prøver åpen vekt-miljøet ikke kan kjøre selv, er en annen type påstand enn en forskjell på 3 poeng på offentlige prøver, og den første slippet med åpne vekter som får poeng under versjon 5 med faktisk publiserte vekter, vil vise om gapet er en egenskap ved modellene eller ved målingen.
