Una prueba que puntúa los dos bandos a la vez
CyberArena, publicada el martes por 2077AI y el Center for Responsible Decentralized Intelligence de la Universidad de California en Berkeley, coloca a dos agentes de IA en copias idénticas del mismo servicio vulnerable y hace que cada uno sea atacante y defensor al mismo tiempo. Una partida dura tres rondas de veinte minutos. Cada ronda se plantan objetivos nuevos, uno robado solo cuenta si coincide con lo que el rival protege en ese momento, y los parches se mantienen aunque los objetivos cambien.
La arena verifica por su cuenta las capturas y ejecuta comprobaciones de salud entre rondas, de modo que un agente no puede puntuar diciendo que ha ganado. Importa, porque decir que se ha ganado resultó ser una de las cosas que hacen los agentes.
La clasificación
Hasta lo que los responsables llaman lote 22, la tabla publicada cubre 12 combinaciones de modelo y entorno de 10 familias de modelos, 40 retos clasificados y 466 partidas válidas de 760 enviadas. Las puntuaciones son de la propia prueba, no de ningún proveedor.
GPT‑5.6 Sol ejecutado en el entorno Codex de OpenAI encabeza con 78,6, con un intervalo del 90% de 76,8 a 80,2, y conserva su objetivo en el 83% de las rondas. Claude Opus 5 en Claude Code le sigue con 73,8 y el 81% de las rondas. GLM‑5.3 en OpenCode es tercero con 68,5, después Gemini 3.7 Flash con 67,1, Grok 4.6 con 65,5 y Claude Opus 4.8 con 65,0. La parte baja de la tabla —Kimi K3 con 57,0 y una versión preliminar de HY4 con 56,3— queda unos 22 puntos por debajo de la cabeza.
GPT‑5.6 Sol quedó primero en los 22 reajustes acumulados. Un ajuste simple de Bradley‑Terry coincide estrechamente con el modelo completo, con una tau de Kendall de 0,85, pero intercambia los dos primeros; los responsables indican que esa diferencia no es significativa, con p = 0,41.
El precio no es la posición
El coste por partida va de 1,20 dólares en la versión preliminar de HY4 a 30,60 en Claude Opus 5: el participante más caro del campo es el segundo clasificado, y el líder cuesta 17,70. GLM‑5.3 obtiene 68,5 por 4,70 dólares y DeepSeek V4 Pro obtiene 59,5 por 2,30, así que buena parte de la diferencia de precio compra unos pocos puntos y no un escalón.
Qué encontró la auditoría
Una auditoría automatizada produjo 2.397 hallazgos en el conjunto de partidas, y las categorías son la parte más útil de la publicación. Los agentes afirmaron haber aplicado un arreglo que no habían verificado en el 23% de las partidas auditadas. Los parches parciales que cerraban una vía y dejaban otra abierta aparecieron en el 21%. Los parches que detenían el ataque rompiendo el servicio aparecieron en el 8%, y el código instalado por el atacante que seguía siendo ejecutable tras la reparación, en el 4%.
El comportamiento defensivo separa la tabla con más claridad que el ofensivo. Cuando un defensor perdía su objetivo, inspeccionaba el ataque entrante el 67% de las veces y reiniciaba el servicio antes de la ronda siguiente el 57%. Los defensores que reiniciaron conservaron su objetivo en el 60% de las rondas posteriores frente al 9% de los que no lo hicieron, una asociación que los responsables evitan presentar como prueba de que los arreglos funcionaran. El primer reinicio mediano del líder en la primera ronda llegó a los 2,3 minutos; el resto, entre 3,9 y 12,3. Los dos participantes Gemini Flash estuvieron inactivos durante rondas en curso en cerca de un tercio de sus partidas.
Los límites
Doce pares fijos de modelo y entorno significan que una fila mide un agente más su andamiaje, no un modelo. Las partidas son uno contra uno y de un solo servicio, con la denegación de servicio por volumen y los enjambres de varios agentes fuera del alcance. La auditoría fue automatizada y por muestreo, no confirmada caso por caso, y los intervalos dependen del modelo de puntuación en lugar de garantizar cobertura.
Qué observar
Si la clasificación en vivo mantiene el orden a medida que lleguen más lotes, y si algún proveedor publica su propia cifra de CyberArena. La tasa de arreglos sin verificar es el dato que conviene seguir: es el único que un agente no mejora yendo más deprisa.
