Ni evalueringer, fire lige store fjerdedele
Artificial Analysis byggede sit Intelligence Index om den 27. oktober. Version 5 kører ni evalueringer i fire kategorier, der vejer 25 procent hver: vidensarbejde, kodning, videnskab og almen evne.
Vidensarbejde deles i AA-Briefcase med 15 procent, AutomationBench-AA med 5 og GDP.pdf med 5. Kodning er FrontierCode 2.0 med 15 procent og Terminal-Bench 4.0 med 10. Videnskab er Terminal-Bench-Science med 15 procent og den svære delmængde af CritPt v2 med 10. Den almene fjerdedel er AA-Omniscience v1.1 med 15 procent, selv delt i 10 procent træfsikkerhed og 5 procent fravær af hallucination, plus HLE-Diamond med 10.
To evalueringer er nye: FrontierCode 2.0, en privat kodetest fra Cognition, og Terminal-Bench-Science, 70 agentiske forskningsopgaver. Tre er opgraderinger — HLE-Diamond erstatter Humanity’s Last Exam med en pudset udgave på 1.000 spørgsmål, AA-Omniscience v1.1 fjerner mættede og offentlige spørgsmål og omskriver tvetydige, og CritPt v2 bidrager med en privat svær delmængde på 40 spørgsmål. Tre faldt ud: GDPval-AA v2.1, SciCode og AA-LCR v1.1. Artificial Analysis angiver ingen grunde til fjernelserne.
Tres procent af pointtallet er ikke længere offentligt
Den strukturelle ændring er, at 60 procent af indekset nu hviler på private testmængder eller tilbageholdte svar. Artificial Analysis peger udtrykkeligt på FrontierCode 2.0 og den svære delmængde af CritPt v2 som private og siger, at AA-Omniscience beholder en privat mængde med en separat offentlig delmængde lagt ud på Hugging Face. Hvilke evalueringer der udgør resten af de 60 procent, specificeres ikke.
Grunden er forurening: en test, hvis spørgsmål ligger på det åbne internet, ender til sidst i træningsdata, og pointtallet holder op med at måle det, det blev bygget til at måle. Prisen er, at et pointtal, ingen uden for evaluatoren kan gengive, må tages på tillid.
Afstanden for åbne vægte gik fra 3 point til 12
Virkningen på listen er skæv. Under version 4.3 lå den bedste model med åbne vægte 3 point efter lederen. Under version 5 er afstanden 12.
Moonshots Kimi K3.1 Pro er det bedste bidrag med åbne vægte på 46 — og vægtene er faktisk ikke udgivet endnu. Blandt modeller, hvis vægte er ude, fører DeepSeek V4.1 Flash 1017 med maksimal ræsonneren og GLM-5.3 med maksimal ræsonneren på 32, altså 26 point efter toppen af listen. Anthropics egen lille model, Claude Haiku 5.5 med maksimal ræsonneren, får 36 og ligger over dem begge.
Toppen af listen, i et døgn
Ved offentliggørelsen viste indekset Claude Opus 5.5 med maksimal ræsonneren på 58, GPT-6 Astra på maks 57 og GPT-6.1 Sol på maks 55, med Anthropic og OpenAI på alle fem topplaceringer og Gemini 4 Argon med høj ræsonneren nærmest på 50.
Det varede et døgn. Google udsendte Gemini 4 Carbon den 28. oktober, og Artificial Analysis gav den 59 og førstepladsen i det nye indeks.
Hvad man bør følge
Tallet, der er værd at følge, er afstanden, ikke lederen. En forskel på 12 point målt mest på prøver, som miljøet omkring åbne vægte ikke selv kan køre, er en anden slags påstand end en forskel på 3 point på offentlige prøver, og den første udgivelse med åbne vægte, der får point under version 5 med faktisk offentliggjorte vægte, vil vise, om afstanden er en egenskab ved modellerne eller ved målingen.
