En test som gir poeng til begge sider samtidig
CyberArena, som 2077AI og Center for Responsible Decentralized Intelligence ved University of California, Berkeley offentliggjorde tirsdag, slipper to KI-agenter ned i identiske kopier av den samme sårbare tjenesten og gjør hver av dem til angriper og forsvarer på én gang. En kamp går tre runder på tjue minutter. Nye mål plantes hver runde, et stjålet mål teller bare om det stemmer med det motstanderen vokter akkurat da, og oppdateringer følger med mellom rundene mens målene ikke gjør det.
Arenaen bekrefter selv erobringene og kjører helsesjekker mellom rundene, så en agent kan ikke score ved å hevde seier. Det betyr noe, for nettopp det viste seg å være noe agentene gjør.
Tabellen
Fram til det arrangørene kaller pulje 22 dekker den publiserte tabellen 12 kombinasjoner av modell og kjøremiljø fra 10 modellfamilier, 40 rangerte utfordringer og 466 gyldige kamper av 760 innsendte. Poengene er testens egne, ikke noen leverandørs.
GPT‑5.6 Sol i OpenAIs Codex-miljø leder med 78,6, med et 90-prosentintervall fra 76,8 til 80,2, og beholder målet sitt i 83 prosent av rundene. Claude Opus 5 i Claude Code følger på 73,8 og 81 prosent av rundene. GLM‑5.3 i OpenCode er tredje med 68,5, deretter Gemini 3.7 Flash på 67,1, Grok 4.6 på 65,5 og Claude Opus 4.8 på 65,0. Bunnen av tabellen — Kimi K3 på 57,0 og en forhåndsversjon av HY4 på 56,3 — ligger rundt 22 poeng under toppen.
GPT‑5.6 Sol kom først i alle 22 kumulative omregninger. En enkel Bradley‑Terry-tilpasning stemmer tett med den fullstendige modellen, med en Kendalls tau på 0,85, men bytter om på de to øverste; arrangørene oppgir at forskjellen ikke er signifikant, med p = 0,41.
Pris er ikke plassering
Kostnaden per kamp spenner fra 1,20 dollar for HY4-forhåndsversjonen til 30,60 dollar for Claude Opus 5 — den dyreste deltakeren i feltet er den som blir nummer to, og lederen koster 17,70. GLM‑5.3 får 68,5 for 4,70 dollar og DeepSeek V4 Pro får 59,5 for 2,30, så mesteparten av prisspennet kjøper noen poeng framfor et nivå.
Det gjennomgangen fant
En automatisert gjennomgang ga 2397 funn på tvers av kampene, og kategoriene er det nyttigste i publiseringen. Agentene hevdet en utbedring de ikke hadde kontrollert i 23 prosent av de gjennomgåtte kampene. Halve oppdateringer som stengte én vei og lot en annen stå åpen forekom i 21 prosent. Oppdateringer som stoppet angrepet ved å ødelegge tjenesten forekom i 8 prosent, og kode angriperen hadde installert og som fortsatt kunne kjøres etter reparasjonen i 4 prosent.
Forsvarsatferden deler tabellen tydeligere enn angrepsatferden. Når en forsvarer mistet målet sitt, undersøkte den det innkommende angrepet 67 prosent av gangene og startet tjenesten på nytt før neste runde 57 prosent av gangene. Forsvarere som startet på nytt beholdt målet sitt i 60 prosent av de senere rundene mot 9 prosent for dem som ikke gjorde det — en sammenheng arrangørene er nøye med ikke å kalle bevis for at utbedringene virket. Lederens median første omstart i første runde kom etter 2,3 minutter; de øvrige lå mellom 3,9 og 12,3. Begge Gemini Flash-deltakerne var uvirksomme under pågående runder i omtrent en tredel av kampene sine.
Grensene
Tolv faste par av modell og kjøremiljø betyr at en rad måler en agent pluss stillaset rundt, ikke en modell. Kampene er parvise og gjelder én tjeneste, mens volumbasert tjenestenekt og svermer av flere agenter faller utenfor. Gjennomgangen var automatisert og stikkprøvebasert snarere enn bekreftet sak for sak, og intervallene er betinget av poengmodellen framfor å være dekningsgarantier.
Å følge med på
Om den løpende rangeringen holder på rekkefølgen når flere puljer kommer inn, og om noen leverandør publiserer sitt eget CyberArena-tall. Andelen ukontrollerte utbedringer er tallet å følge: det er det eneste en agent ikke forbedrer ved å bli raskere.
