Nueve evaluaciones, cuatro cuartos iguales
Artificial Analysis reconstruyó su Intelligence Index el 27 de octubre. La versión 5 ejecuta nueve evaluaciones en cuatro categorías ponderadas al 25% cada una: trabajo de conocimiento, programación, ciencia y capacidad general.
El trabajo de conocimiento se reparte entre AA-Briefcase con un 15%, AutomationBench-AA con un 5% y GDP.pdf con un 5%. La programación es FrontierCode 2.0 con un 15% y Terminal-Bench 4.0 con un 10%. La ciencia es Terminal-Bench-Science con un 15% y el subconjunto difícil de CritPt v2 con un 10%. El cuarto general es AA-Omniscience v1.1 con un 15%, dividido a su vez en un 10% de precisión y un 5% de ausencia de alucinación, más HLE-Diamond con un 10%.
Dos evaluaciones son nuevas: FrontierCode 2.0, un banco de pruebas privado de programación de Cognition, y Terminal-Bench-Science, 70 tareas agénticas de investigación científica. Tres son mejoras: HLE-Diamond sustituye a Humanity’s Last Exam por una versión depurada de 1.000 preguntas, AA-Omniscience v1.1 elimina preguntas saturadas y públicas y revisa las ambiguas, y CritPt v2 aporta un subconjunto difícil privado de 40 preguntas. Tres desaparecieron: GDPval-AA v2.1, SciCode y AA-LCR v1.1. Artificial Analysis no da razones para las retiradas.
El sesenta por ciento de la nota ya no es público
El cambio estructural es que el 60% del índice descansa ahora en conjuntos de prueba privados o respuestas reservadas. Artificial Analysis señala a FrontierCode 2.0 y al subconjunto difícil de CritPt v2 como privados de forma explícita, y dice que AA-Omniscience mantiene un conjunto privado con un subconjunto público aparte publicado en Hugging Face. No detalla qué evaluaciones completan el resto de ese 60%.
La razón para hacerlo es la contaminación: un banco de pruebas cuyas preguntas están en la internet pública acaba en los datos de entrenamiento, y su puntuación deja de medir lo que se construyó para medir. El coste es que una nota que nadie fuera del evaluador puede reproducir hay que aceptarla por confianza.
La brecha de los modelos abiertos pasó de 3 puntos a 12
El efecto sobre la clasificación es desigual. Con la versión 4.3, el mejor modelo de pesos abiertos quedaba 3 puntos por detrás del líder. Con la versión 5, esa brecha es de 12.
El Kimi K3.1 Pro de Moonshot es la mejor entrada de pesos abiertos con 46, y sus pesos todavía no se han publicado. Entre los modelos cuyos pesos sí están disponibles, DeepSeek V4.1 Flash 1017 con razonamiento máximo y GLM-5.3 con razonamiento máximo lideran con 32, es decir, 26 puntos por detrás de la cabeza de la tabla. El modelo pequeño de la propia Anthropic, Claude Haiku 5.5 con razonamiento máximo, obtiene 36, por encima de ambos.
La cabeza de la tabla, durante un día
En el momento de la publicación, el índice daba 58 a Claude Opus 5.5 con razonamiento máximo, 57 a GPT-6 Astra con razonamiento máximo y 55 a GPT-6.1 Sol con razonamiento máximo, con Anthropic y OpenAI ocupando los cinco primeros puestos y Gemini 4 Argon con razonamiento alto a continuación, con 50.
Duró un día. Google lanzó Gemini 4 Carbon el 28 de octubre y Artificial Analysis le dio 59 puntos, el primer puesto del nuevo índice.
Qué vigilar
La cifra que conviene seguir es la brecha, no el líder. Una diferencia de 12 puntos medida sobre todo con pruebas que la comunidad de pesos abiertos no puede ejecutar por su cuenta es una afirmación distinta de una diferencia de 3 puntos sobre pruebas públicas, y el primer lanzamiento de pesos abiertos puntuado con la versión 5 y con pesos publicados dirá si la brecha es una propiedad de los modelos o de la medición.
