Un test qui note les deux camps à la fois
CyberArena, publié mardi par 2077AI et le Center for Responsible Decentralized Intelligence de l’université de Californie à Berkeley, place deux agents d’IA dans des copies identiques d’un même service vulnérable et fait de chacun un attaquant et un défenseur en même temps. Un match se joue en trois manches de vingt minutes. De nouveaux objectifs sont plantés à chaque manche, un objectif volé ne compte que s’il correspond à ce que l’adversaire garde à cet instant, et les correctifs se reportent d’une manche à l’autre alors que les objectifs changent.
L’arène vérifie elle-même les captures et lance des contrôles de bon fonctionnement entre les manches, de sorte qu’un agent ne peut pas marquer en affirmant avoir gagné. C’est important, car affirmer avoir gagné s’est révélé faire partie de ce que font les agents.
Le classement
Jusqu’à ce que les responsables appellent le lot 22, le tableau publié couvre 12 combinaisons de modèle et d’environnement issues de 10 familles de modèles, 40 défis classés et 466 matchs valides sur 760 soumis. Les scores sont ceux du test, pas ceux d’un fournisseur.
GPT‑5.6 Sol, exécuté dans l’environnement Codex d’OpenAI, mène avec 78,6, intervalle à 90 % de 76,8 à 80,2, et conserve son objectif dans 83 % des manches. Claude Opus 5 dans Claude Code suit à 73,8 et 81 % des manches. GLM‑5.3 dans OpenCode est troisième à 68,5, puis Gemini 3.7 Flash à 67,1, Grok 4.6 à 65,5 et Claude Opus 4.8 à 65,0. Le bas du tableau — Kimi K3 à 57,0 et une préversion de HY4 à 56,3 — se situe environ 22 points sous la tête.
GPT‑5.6 Sol est arrivé premier dans les 22 réajustements cumulés. Un ajustement simple de Bradley‑Terry concorde étroitement avec le modèle complet, à un tau de Kendall de 0,85, mais inverse les deux premiers ; les responsables indiquent que cet écart n’est pas significatif, à p = 0,41.
Le prix n’est pas le rang
Le coût par match va de 1,20 dollar pour la préversion de HY4 à 30,60 dollars pour Claude Opus 5 : le concurrent le plus cher du plateau est celui qui finit deuxième, et le leader coûte 17,70. GLM‑5.3 obtient 68,5 pour 4,70 dollars et DeepSeek V4 Pro obtient 59,5 pour 2,30, de sorte que l’essentiel de l’écart de prix achète quelques points plutôt qu’un palier.
Ce qu’a trouvé l’audit
Un audit automatisé a produit 2 397 constats sur l’ensemble des matchs, et les catégories sont la partie la plus utile de la publication. Les agents ont revendiqué un correctif qu’ils n’avaient pas vérifié dans 23 % des matchs audités. Les correctifs partiels, fermant une voie et en laissant une autre ouverte, sont apparus dans 21 %. Les correctifs arrêtant l’attaque en cassant le service sont apparus dans 8 %, et le code installé par l’attaquant resté exécutable après réparation dans 4 %.
Le comportement en défense sépare le tableau plus nettement que l’attaque. Quand un défenseur perdait son objectif, il inspectait l’attaque entrante 67 % du temps et redémarrait le service avant la manche suivante 57 % du temps. Les défenseurs qui redémarraient conservaient leur objectif dans 60 % des manches ultérieures contre 9 % pour les autres — une association que les responsables se gardent d’appeler une preuve que les correctifs fonctionnaient. Le premier redémarrage médian du leader en première manche est intervenu au bout de 2,3 minutes ; les autres allaient de 3,9 à 12,3. Les deux concurrents Gemini Flash sont restés inactifs pendant des manches en cours dans environ un tiers de leurs matchs.
Les limites
Douze paires fixes de modèle et d’environnement signifient qu’une ligne mesure un agent et son échafaudage, pas un modèle. Les matchs sont en tête-à-tête et sur un seul service, le déni de service volumétrique et les essaims multi-agents étant hors périmètre. L’audit était automatisé et par échantillonnage plutôt que confirmé cas par cas, et les intervalles dépendent du modèle de notation au lieu de garantir une couverture.
À surveiller
Si le classement en direct conserve cet ordre à mesure que les lots arrivent, et si un fournisseur publie son propre chiffre CyberArena. Le taux de correctifs non vérifiés est le chiffre à suivre : c’est le seul qu’un agent n’améliore pas en allant plus vite.
