Neuf évaluations, quatre quarts égaux
Artificial Analysis a reconstruit son Intelligence Index le 27 octobre. La version 5 fait tourner neuf évaluations réparties en quatre catégories pondérées à 25 % chacune : travail de connaissance, programmation, science et capacité générale.
Le travail de connaissance se partage entre AA-Briefcase à 15 %, AutomationBench-AA à 5 % et GDP.pdf à 5 %. La programmation, c’est FrontierCode 2.0 à 15 % et Terminal-Bench 4.0 à 10 %. La science, c’est Terminal-Bench-Science à 15 % et le sous-ensemble difficile de CritPt v2 à 10 %. Le quart généraliste, c’est AA-Omniscience v1.1 à 15 %, lui-même scindé en 10 % de justesse et 5 % d’absence d’hallucination, plus HLE-Diamond à 10 %.
Deux évaluations sont nouvelles : FrontierCode 2.0, un test de programmation privé signé Cognition, et Terminal-Bench-Science, 70 tâches agentiques de recherche scientifique. Trois sont des mises à niveau — HLE-Diamond remplace Humanity’s Last Exam par une version affinée de 1 000 questions, AA-Omniscience v1.1 retire les questions saturées et publiques et révise les ambiguës, et CritPt v2 apporte un sous-ensemble difficile privé de 40 questions. Trois ont disparu : GDPval-AA v2.1, SciCode et AA-LCR v1.1. Artificial Analysis ne donne aucune raison pour ces retraits.
Soixante pour cent de la note n’est plus publique
Le changement structurel, c’est que 60 % de l’index repose désormais sur des jeux de test privés ou des réponses retenues. Artificial Analysis désigne explicitement FrontierCode 2.0 et le sous-ensemble difficile de CritPt v2 comme privés, et indique qu’AA-Omniscience conserve un jeu privé avec un sous-ensemble public distinct publié sur Hugging Face. Il ne détaille pas quelles évaluations composent le reste de ces 60 %.
La raison est la contamination : un test dont les questions traînent sur l’internet public finit dans les données d’entraînement, et sa note cesse de mesurer ce pour quoi elle a été conçue. Le coût, c’est qu’une note que personne hors de l’évaluateur ne peut reproduire doit être acceptée sur parole.
L’écart des modèles ouverts est passé de 3 points à 12
L’effet sur le classement est inégal. En version 4.3, le meilleur modèle à poids ouverts accusait 3 points de retard sur le leader. En version 5, cet écart est de 12.
Le Kimi K3.1 Pro de Moonshot est la meilleure entrée à poids ouverts avec 46 — et ses poids n’ont en réalité pas encore été publiés. Parmi les modèles dont les poids sont disponibles, DeepSeek V4.1 Flash 1017 en raisonnement maximal et GLM-5.3 en raisonnement maximal mènent à 32, soit 26 points derrière la tête du classement. Le petit modèle d’Anthropic lui-même, Claude Haiku 5.5 en raisonnement maximal, obtient 36, au-dessus des deux.
La tête du classement, pour une journée
À la publication, l’index affichait Claude Opus 5.5 en raisonnement maximal à 58, GPT-6 Astra au maximum à 57 et GPT-6.1 Sol au maximum à 55, Anthropic et OpenAI occupant les cinq premières places et Gemini 4 Argon en raisonnement élevé suivant à 50.
Cela a duré un jour. Google a sorti Gemini 4 Carbon le 28 octobre et Artificial Analysis lui a attribué 59, première place du nouvel index.
Ce qu’il faut surveiller
Le chiffre à suivre est l’écart, pas le leader. Une différence de 12 points mesurée surtout sur des épreuves que la communauté des poids ouverts ne peut pas exécuter elle-même n’est pas la même affirmation qu’une différence de 3 points sur des épreuves publiques, et la première sortie à poids ouverts notée en version 5 avec des poids réellement publiés dira si l’écart est une propriété des modèles ou de la mesure.
