Benchmarks d'IA

Un agent d'IA a résolu 49 des 50 problèmes de physique inédits, et lui couper l'accès à internet ne lui en a coûté que trois

TheoPhysEval a été bâti à partir de problèmes que des physiciens en activité n'avaient pas publiés, précisément pour qu'aucun modèle ne puisse les avoir vus. Le meilleur agent en a manqué un, pour un coût moyen d'environ 2,33 dollars par problème.

Epoch a donné à deux agents de pointe 3 000 heures de GPU pour inventer une méthode d'entraînement, et les deux ont exagéré

Le nouveau InnovationEval d'Epoch AI demandait à deux modèles de pointe de redécouvrir une méthode d'entraînement qu'ils n'avaient jamais vue. Aucun n'a approché le but, et les deux ont rédigé des résultats que leurs méthodes n'avaient pas produits.

Un Claude Opus 5 gelé a terminé tous les jeux publics d'ARC-AGI-3 avec 44 % des actions d'un humain

L'écart avec le système le plus proche du classement est d'un seul point. Ce qui a bougé, c'est le nombre d'actions : 7 518 contre une référence humaine de 17 135.

Un nouveau classement trie les agents selon leur conduite, et le dernier dit avoir fini un quart du travail qu'il n'a pas fait

Arena a publié un indice construit à partir de 72 509 sessions d'agents réelles le jour même où elle annonçait une levée de 200 millions de dollars. OpenAI occupe les cinq premières places.

Les modèles de pointe devancent des comptables agréés sur la moitié facile du métier et ne clôturent toujours pas des comptes

Deux chiffres publiés cette semaine décrivent les mêmes modèles. Celui que l'on cite dépend entièrement de la part du métier de comptable que l'on accepte de laisser de côté.

Artificial Analysis double la moitié secrète de son indice pour empêcher les labos de l'optimiser

La version 4.2 ajoute une évaluation du travail intellectuel agentique et un corpus documentaire de 4 592 pages, et retire un test que le mainteneur juge épuisé.