Nove avaliações, quatro quartos iguais
A Artificial Analysis reconstruiu o seu Intelligence Index a 27 de outubro. A versão 5 corre nove avaliações em quatro categorias com peso de 25% cada: trabalho de conhecimento, programação, ciência e capacidade geral.
O trabalho de conhecimento divide-se em AA-Briefcase com 15%, AutomationBench-AA com 5% e GDP.pdf com 5%. A programação é FrontierCode 2.0 com 15% e Terminal-Bench 4.0 com 10%. A ciência é Terminal-Bench-Science com 15% e o subconjunto difícil do CritPt v2 com 10%. O quarto geral é o AA-Omniscience v1.1 com 15%, por sua vez dividido em 10% de precisão e 5% de ausência de alucinação, mais o HLE-Diamond com 10%.
Duas avaliações são novas: FrontierCode 2.0, um teste privado de programação da Cognition, e Terminal-Bench-Science, 70 tarefas agênticas de investigação científica. Três são atualizações — o HLE-Diamond substitui o Humanity’s Last Exam por uma versão depurada de 1.000 perguntas, o AA-Omniscience v1.1 retira perguntas saturadas e públicas e revê as ambíguas, e o CritPt v2 contribui com um subconjunto difícil privado de 40 perguntas. Três caíram: GDPval-AA v2.1, SciCode e AA-LCR v1.1. A Artificial Analysis não dá razões para as remoções.
Sessenta por cento da nota já não é pública
A mudança estrutural é que 60% do índice assenta agora em conjuntos de teste privados ou respostas reservadas. A Artificial Analysis aponta explicitamente o FrontierCode 2.0 e o subconjunto difícil do CritPt v2 como privados, e diz que o AA-Omniscience mantém um conjunto privado com um subconjunto público separado publicado no Hugging Face. Não detalha que avaliações compõem o resto desses 60%.
A razão para o fazer é a contaminação: um teste cujas perguntas estão na internet pública acaba nos dados de treino, e a sua pontuação deixa de medir aquilo para que foi construída. O custo é que uma nota que ninguém fora do avaliador consegue reproduzir tem de ser aceite por confiança.
A diferença dos modelos abertos passou de 3 pontos para 12
O efeito na tabela é desigual. Na versão 4.3, o melhor modelo de pesos abertos ficava 3 pontos atrás do líder. Na versão 5, essa diferença é de 12.
O Kimi K3.1 Pro da Moonshot é a melhor entrada de pesos abertos com 46 — e os seus pesos ainda não foram publicados. Entre os modelos cujos pesos estão disponíveis, o DeepSeek V4.1 Flash 1017 com raciocínio máximo e o GLM-5.3 com raciocínio máximo lideram com 32, ou seja, 26 pontos atrás do topo. O pequeno modelo da própria Anthropic, o Claude Haiku 5.5 com raciocínio máximo, faz 36, acima de ambos.
O topo da tabela, durante um dia
Na publicação, o índice dava 58 ao Claude Opus 5.5 com raciocínio máximo, 57 ao GPT-6 Astra no máximo e 55 ao GPT-6.1 Sol no máximo, com a Anthropic e a OpenAI a ocupar os cinco primeiros lugares e o Gemini 4 Argon com raciocínio alto a seguir, com 50.
Durou um dia. A Google lançou o Gemini 4 Carbon a 28 de outubro e a Artificial Analysis deu-lhe 59, o primeiro lugar do novo índice.
O que observar
O número que vale a pena seguir é a diferença, não o líder. Uma distância de 12 pontos medida sobretudo em provas que a comunidade de pesos abertos não consegue correr sozinha é uma afirmação diferente de uma distância de 3 pontos em provas públicas, e o primeiro lançamento de pesos abertos pontuado na versão 5 com pesos realmente publicados dirá se a diferença é uma propriedade dos modelos ou da medição.
