Quarenta por cento que os laboratórios não veem
A Artificial Analysis publicou em 4 de setembro a versão 4.2 do seu índice de inteligência, e a principal mudança não é uma pontuação. Conjuntos de teste mantidos em sigilo respondem agora por 40% do peso do índice, o dobro da participação na versão 4.1. Essa parte reservada é formada por AA-Briefcase, AA-Omniscience e pelas soluções do CritPt, e a Artificial Analysis diz que a fatia voltará a crescer na versão 5.
O raciocínio é direto. Um índice construído sobre testes públicos pode ser otimizado, de propósito ou por contaminação dos dados de treino, e um modelo que na prática já viu a prova não está sendo medido. Manter as respostas em sigilo é a única defesa de um avaliador independente.
A Artificial Analysis descreve a v4.2 como uma entrega intermediária que antecipa partes da versão 5 planejada, para que o índice acompanhe o ritmo da fronteira.
O que entrou e o que saiu
Duas avaliações entraram. O AA-Briefcase é o conjunto próprio de trabalho intelectual com agentes, construído com especialistas do setor em torno de projetos realistas de várias etapas e avaliado por uma mistura de rubrica e comparação em pares quanto a sucesso da tarefa, qualidade analítica e apresentação. O GDP.pdf, feito pela Surge AI, testa raciocínio documental profissional em um único turno sobre 100 PDFs de dez domínios, exigindo reunir evidências espalhadas por 4.592 páginas de texto, tabelas, gráficos, notas de rodapé e exclusões.
Uma avaliação saiu. O GPQA Diamond, conjunto de raciocínio científico em nível de pós-graduação que há dois anos aparece nas fichas dos modelos de fronteira, foi removido — a Artificial Analysis o chama de avaliação excepcional que agora está saturada. Junto com a troca, o AA-LCR passou à versão 1.1 com prompt de correção próprio e gabaritos corrigidos, e o GDPval-AA v2 e o AA-Briefcase ganharam amostragem melhor e uma escala Elo reancorada, para que as notas fiquem estáveis quando novos modelos chegarem.
A ordem depois da reconstrução
No índice reconstruído, o Claude Fable 5.1, da Anthropic, lidera. O GPT-6 Astra, da OpenAI, fica em segundo, com o que a Artificial Analysis descreve como um ganho de cerca de quatro pontos sobre a entrada anterior da OpenAI. A Meta é o terceiro laboratório, à frente de SpaceXAI, Kimi da Moonshot, Z.AI e Google.
São medições independentes, não números divulgados pelos fabricantes: a Artificial Analysis roda cada avaliação por conta própria pelas APIs públicas dos modelos. É exatamente por isso que um número assim pesa, enquanto a tabela de resultados do próprio laboratório não pesa.
Por que os números de versão importam aqui
Uma consequência merece ser dita com clareza. Como os componentes e os pesos mudaram, uma pontuação da v4.2 não pode ser comparada a uma da v4.1. Um modelo que pareça ter ganhado ou perdido terreno entre as duas pode simplesmente ter sido medido de outro jeito, e retirar um teste saturado comprime mecanicamente o topo da faixa.
O que observar é a versão 5, na qual a Artificial Analysis já disse que a parte reservada cresce mais. A troca que ela aceita é transparência por integridade: quanto maior a parte do índice que o público não pode inspecionar, mais difícil é burlá-la — e mais difícil auditá-la.
