Ett test som poängsätter båda sidor samtidigt
CyberArena, som 2077AI och Center for Responsible Decentralized Intelligence vid University of California, Berkeley offentliggjorde på tisdagen, släpper ned två AI-agenter i identiska kopior av samma sårbara tjänst och gör var och en till angripare och försvarare på samma gång. En match går tre rundor om tjugo minuter. Nya mål planteras varje runda, ett stulet mål räknas bara om det stämmer med det motståndaren just då vaktar, och patchar följer med mellan rundorna medan målen inte gör det.
Arenan verifierar själv erövringarna och kör hälsokontroller mellan rundorna, så en agent kan inte få poäng genom att påstå sig ha vunnit. Det spelar roll, eftersom just det visade sig vara något agenterna gör.
Tabellen
Fram till vad arrangörerna kallar omgång 22 omfattar den publicerade tabellen 12 kombinationer av modell och körmiljö ur 10 modellfamiljer, 40 rangordnade utmaningar och 466 giltiga matcher av 760 inlämnade. Poängen är testets egna, inte någon leverantörs.
GPT‑5.6 Sol i OpenAI:s Codex-miljö leder med 78,6, med ett 90-procentsintervall på 76,8 till 80,2, och behåller sitt mål i 83 procent av rundorna. Claude Opus 5 i Claude Code följer på 73,8 och 81 procent av rundorna. GLM‑5.3 i OpenCode är trea med 68,5, därefter Gemini 3.7 Flash på 67,1, Grok 4.6 på 65,5 och Claude Opus 4.8 på 65,0. Tabellens botten — Kimi K3 på 57,0 och en förhandsversion av HY4 på 56,3 — ligger omkring 22 poäng under toppen.
GPT‑5.6 Sol kom först i samtliga 22 kumulativa omräkningar. En enkel Bradley‑Terry-anpassning stämmer nära med den fullständiga modellen, med ett Kendalls tau på 0,85, men byter plats på de två översta; arrangörerna anger att den skillnaden inte är signifikant, med p = 0,41.
Priset är inte placeringen
Kostnaden per match sträcker sig från 1,20 dollar för HY4-förhandsversionen till 30,60 dollar för Claude Opus 5 — fältets dyraste deltagare är den som kommer tvåa, och ledaren kostar 17,70. GLM‑5.3 får 68,5 för 4,70 dollar och DeepSeek V4 Pro får 59,5 för 2,30, så det mesta av prisspannet köper några poäng snarare än en nivå.
Vad granskningen fann
En automatiserad granskning gav 2 397 iakttagelser över matcherna, och kategorierna är det mest användbara i publiceringen. Agenterna uppgav att de åtgärdat något de inte hade verifierat i 23 procent av de granskade matcherna. Halva patchar som stängde en väg och lämnade en annan öppen förekom i 21 procent. Patchar som stoppade angreppet genom att slå sönder tjänsten förekom i 8 procent, och kod som angriparen installerat och som gick att köra även efter reparationen i 4 procent.
Försvarsbeteendet delar tabellen tydligare än angreppsbeteendet. När en försvarare förlorade sitt mål undersökte den det inkommande angreppet i 67 procent av fallen och startade om tjänsten före nästa runda i 57 procent. Försvarare som startade om behöll sitt mål i 60 procent av de senare rundorna mot 9 procent för dem som inte gjorde det — ett samband som arrangörerna är noga med att inte kalla bevis för att åtgärderna fungerade. Ledarens medianomstart i första rundan kom efter 2,3 minuter; övriga låg mellan 3,9 och 12,3. Båda Gemini Flash-deltagarna var overksamma under pågående rundor i ungefär en tredjedel av sina matcher.
Begränsningarna
Tolv fasta par av modell och körmiljö betyder att en rad mäter en agent plus dess ställning, inte en modell. Matcherna är parvisa och gäller en tjänst, medan volymbaserad överbelastning och svärmar av flera agenter ligger utanför. Granskningen var automatiserad och stickprovsvis snarare än bekräftad fall för fall, och intervallen är betingade av poängmodellen i stället för att vara täckningsgarantier.
Att följa
Om den löpande topplistan behåller ordningen när fler omgångar kommer in, och om någon leverantör publicerar sin egen CyberArena-siffra. Andelen overifierade åtgärder är det tal som är värt att följa: det är det enda en agent inte förbättrar genom att bli snabbare.
