Cinquante problèmes que personne n’avait publiés
Un groupe de physiciens a construit un test à partir de 50 problèmes de physique théorique de niveau recherche jamais publiés, chacun avec une réponse vérifiable, et y a soumis cinq agents d’IA commerciaux sans aucun indice humain. L’article, TheoPhysEval, a été déposé sur arXiv le 9 octobre. Ses auteurs estiment qu’un spécialiste mondial du domaine concerné résoudrait l’un de ces problèmes en une journée environ, quand un expert d’un champ voisin mettrait nettement plus longtemps.
La conception compte plus que les notes. Les problèmes proviennent des travaux inédits des auteurs eux-mêmes, seule manière fiable de s’assurer qu’un modèle n’a pas déjà lu la réponse. Ils couvrent la physique classique, les processus stochastiques et la physique biologique, la mécanique statistique hors d’équilibre, les théories sur réseau, les phases quantiques de la matière, la théorie de la structure électronique et la théorie quantique des champs.
Les résultats
Chaque agent a été évalué sur deux pistes : une piste réaliste, avec recherche bibliographique et possibilité d’écrire et d’exécuter des scripts, et une piste isolée, sans accès à internet. Sur la piste réaliste, GPT-6-Astra exécuté dans Codex a résolu 49 problèmes sur 50. Claude Opus 5.5 dans l’interface Claude Code en a résolu 46. Gemini 3.8 Flash dans Antigravity en a résolu 34, et les deux modèles à poids ouverts, DeepSeek-V4.1-Flash et GLM 5.3, 27 et 21.
Les coûts frappent autant que les notes. Les auteurs calculent 116,28 dollars pour la série complète d’Astra sur la piste réaliste, soit environ 2,33 dollars par problème, contre 240,43 pour Opus et 37,42 pour DeepSeek. La série de GLM a été couverte par un forfait de programmation, pour un coût réel de 180 dollars sur les deux pistes ; aux tarifs d’API, elle aurait coûté 311,71 et 371,46.
Retirer la littérature n’a presque rien changé
Le résultat sur lequel les auteurs s’attardent est la piste isolée. Astra et Opus y ont résolu 46 problèmes sur 50 chacun sans aucun accès à internet — trois de moins pour Astra, exactement autant pour Opus. Gemini en a eu 31, GLM 26 et DeepSeek 25. Beaucoup de ces problèmes exigent des formules et des notations précises tirées d’articles précis, et les auteurs écrivent qu’un humain ne pourrait pas même aborder certains d’entre eux sans consulter l’article de référence. Que les modèles y parviennent suggère, selon l’article, une mémorisation importante de la littérature de recherche en physique.
Le seul problème manqué par Astra sur la piste réaliste était un problème inverse — retrouver une équation différentielle à partir d’une courbe donnée — et aucun modèle ne l’a résolu. Tout ce que chaque autre agent a réussi constituait un sous-ensemble de ce qu’Astra a réussi.
Ce que les auteurs signalent eux-mêmes
Deux réserves viennent de l’article lui-même. Chaque agent n’a été lancé qu’une fois par piste, de sorte que l’écart entre la piste réaliste et la piste isolée reste dans l’incertitude statistique de l’évaluation. Et les auteurs ont d’abord compté plusieurs erreurs à Astra avant de découvrir que leurs propres solutions de référence contenaient des erreurs subtiles ; une fois corrigées par les experts, les réponses d’Astra se sont révélées justes à chaque fois.
Les taux de réussite dépassent ceux rapportés par d’autres tests de physique théorique, ce que les auteurs relèvent en jugeant que cela mérite explication : à l’examen, ils estiment leurs problèmes plus avancés, et renvoient à des travaux récents suggérant que certains tests de physique sont mal corrigés. Le jeu de données est publié, donc l’écart est vérifiable plutôt qu’une affaire de confiance.
