En test, der giver point til begge sider på én gang
CyberArena, som 2077AI og Center for Responsible Decentralized Intelligence ved University of California, Berkeley offentliggjorde tirsdag, sætter to AI-agenter ned i identiske kopier af den samme sårbare tjeneste og gør hver af dem til angriber og forsvarer på samme tid. En kamp går tre runder à tyve minutter. Nye mål plantes hver runde, et stjålet mål tæller kun, hvis det passer med det, modstanderen vogter netop da, og rettelser følger med mellem runderne, mens målene ikke gør.
Arenaen bekræfter selv erobringerne og kører sundhedstjek mellem runderne, så en agent ikke kan score ved at påstå sejr. Det betyder noget, for netop dét viste sig at være noget, agenterne gør.
Tabellen
Frem til det, arrangørerne kalder pulje 22, dækker den offentliggjorte tabel 12 kombinationer af model og køremiljø fra 10 modelfamilier, 40 rangerede udfordringer og 466 gyldige kampe ud af 760 indsendte. Pointene er testens egne, ikke nogen leverandørs.
GPT‑5.6 Sol i OpenAI’s Codex-miljø fører med 78,6, med et 90-procentsinterval fra 76,8 til 80,2, og beholder sit mål i 83 procent af runderne. Claude Opus 5 i Claude Code følger med 73,8 og 81 procent af runderne. GLM‑5.3 i OpenCode er nummer tre med 68,5, derefter Gemini 3.7 Flash med 67,1, Grok 4.6 med 65,5 og Claude Opus 4.8 med 65,0. Bunden af tabellen — Kimi K3 med 57,0 og en forhåndsudgave af HY4 med 56,3 — ligger omkring 22 point under toppen.
GPT‑5.6 Sol blev nummer et i alle 22 kumulative omregninger. En simpel Bradley‑Terry-tilpasning stemmer tæt med den fulde model, med en Kendalls tau på 0,85, men bytter om på de to øverste; arrangørerne oplyser, at forskellen ikke er signifikant, ved p = 0,41.
Pris er ikke placering
Omkostningen pr. kamp spænder fra 1,20 dollar for HY4-forhåndsudgaven til 30,60 dollar for Claude Opus 5 — den dyreste deltager i feltet er den, der bliver nummer to, og føreren koster 17,70. GLM‑5.3 får 68,5 for 4,70 dollar, og DeepSeek V4 Pro får 59,5 for 2,30, så størstedelen af prisspændet køber nogle få point frem for et niveau.
Hvad gennemgangen fandt
En automatiseret gennemgang gav 2397 fund på tværs af kampene, og kategorierne er det mest nyttige i udgivelsen. Agenterne hævdede en udbedring, de ikke havde kontrolleret, i 23 procent af de gennemgåede kampe. Halve rettelser, der lukkede én vej og lod en anden stå åben, forekom i 21 procent. Rettelser, der stoppede angrebet ved at ødelægge tjenesten, forekom i 8 procent, og kode installeret af angriberen, som stadig kunne køres efter reparationen, i 4 procent.
Forsvarsadfærden deler tabellen tydeligere end angrebsadfærden. Når en forsvarer mistede sit mål, undersøgte den det indkommende angreb 67 procent af gangene og genstartede tjenesten før næste runde 57 procent af gangene. Forsvarere, der genstartede, beholdt deres mål i 60 procent af de senere runder mod 9 procent for dem, der ikke gjorde — en sammenhæng, arrangørerne omhyggeligt undlader at kalde bevis for, at udbedringerne virkede. Førerens median for første genstart i første runde kom efter 2,3 minutter; de øvrige lå mellem 3,9 og 12,3. Begge Gemini Flash-deltagere var uvirksomme under igangværende runder i omkring en tredjedel af deres kampe.
Grænserne
Tolv faste par af model og køremiljø betyder, at en række måler en agent plus stilladset omkring den, ikke en model. Kampene er parvise og på én tjeneste, mens volumenbaseret tjenestenægtelse og sværme af flere agenter falder uden for. Gennemgangen var automatiseret og stikprøvebaseret frem for bekræftet sag for sag, og intervallerne er betinget af pointmodellen snarere end dækningsgarantier.
Hvad man skal følge
Om den løbende rangliste holder rækkefølgen, efterhånden som flere puljer kommer ind, og om nogen leverandør offentliggør sit eget CyberArena-tal. Andelen af ukontrollerede udbedringer er det tal, man skal følge: det er det eneste, en agent ikke forbedrer ved at blive hurtigere.
