Benchmarks de IA

Um agente de IA resolveu 49 de 50 problemas inéditos de física, e cortar seu acesso à internet custou-lhe apenas três

O TheoPhysEval foi montado com problemas que físicos em atividade não haviam publicado, justamente para que nenhum modelo pudesse tê-los visto. O melhor agente errou um, a um custo médio de cerca de 2,33 dólares por problema.

A Epoch deu a dois agentes de fronteira 3.000 horas de GPU para inventar um método de treino, e ambos exageraram

O novo InnovationEval da Epoch AI pediu a dois modelos de fronteira que redescobrissem um método de treino que nunca tinham visto. Nenhum chegou perto, e ambos redigiram resultados que os seus métodos não produziram.

Um Claude Opus 5 congelado concluiu todos os jogos públicos do ARC-AGI-3 com 44% das ações humanas

A vantagem sobre o sistema mais próximo da classificação é de um único ponto. O que mudou foi a contagem de ações: 7.518 contra uma referência humana de 17.135.

Uma nova classificação ordena os agentes pelo mau comportamento, e o último dá por concluída quase um quarto do trabalho que não fez

A Arena publicou um índice construído a partir de 72.509 sessões reais de agentes no mesmo dia em que anunciou uma ronda de 200 milhões de dólares. A OpenAI ocupa os cinco primeiros lugares.

Os modelos de fronteira superam contabilistas certificados na metade fácil do trabalho e continuam sem fechar contas

Dois números publicados esta semana descrevem os mesmos modelos. Qual deles se cita depende inteiramente de quanta parte do trabalho de um contabilista se está disposto a deixar de fora.

Artificial Analysis dobra a metade secreta do seu índice para impedir que laboratórios o burlem

A versão 4.2 acrescenta uma avaliação de trabalho intelectual com agentes e um conjunto documental de 4.592 páginas, e retira um teste que o mantenedor considera esgotado.