Um teste que pontua os dois lados ao mesmo tempo
O CyberArena, publicado na terça-feira pela 2077AI e pelo Center for Responsible Decentralized Intelligence da Universidade da Califórnia em Berkeley, coloca dois agentes de IA em cópias idênticas do mesmo serviço vulnerável e faz de cada um atacante e defensor ao mesmo tempo. Um encontro corre em três voltas de vinte minutos. Em cada volta são plantados objetivos novos, um objetivo roubado só conta se corresponder ao que o adversário guarda naquele momento, e as correções transitam de volta para volta enquanto os objetivos mudam.
A arena verifica por si as capturas e faz testes de funcionamento entre voltas, pelo que um agente não pode pontuar dizendo que ganhou. Isso importa, porque dizer que ganhou acabou por ser uma das coisas que os agentes fazem.
A tabela
Até ao que os responsáveis chamam lote 22, a tabela publicada abrange 12 combinações de modelo e ambiente de execução de 10 famílias de modelos, 40 desafios ordenados e 466 encontros válidos em 760 submetidos. As pontuações são do próprio teste, não de qualquer fornecedor.
O GPT‑5.6 Sol a correr no ambiente Codex da OpenAI lidera com 78,6, com um intervalo de 90% entre 76,8 e 80,2, e conserva o seu objetivo em 83% das voltas. O Claude Opus 5 no Claude Code segue com 73,8 e 81% das voltas. O GLM‑5.3 no OpenCode é terceiro com 68,5, depois o Gemini 3.7 Flash com 67,1, o Grok 4.6 com 65,5 e o Claude Opus 4.8 com 65,0. O fundo da tabela — Kimi K3 com 57,0 e uma pré-versão do HY4 com 56,3 — fica cerca de 22 pontos abaixo do topo.
O GPT‑5.6 Sol ficou em primeiro nos 22 reajustes acumulados. Um ajuste simples de Bradley‑Terry concorda de perto com o modelo completo, com um tau de Kendall de 0,85, mas troca os dois primeiros; os responsáveis indicam que essa diferença não é significativa, com p = 0,41.
O preço não é a posição
O custo por encontro vai de 1,20 dólares na pré-versão do HY4 a 30,60 no Claude Opus 5: o concorrente mais caro do plantel é o segundo classificado, e o líder custa 17,70. O GLM‑5.3 faz 68,5 por 4,70 dólares e o DeepSeek V4 Pro faz 59,5 por 2,30, pelo que a maior parte da amplitude de preço compra alguns pontos e não um patamar.
O que a auditoria encontrou
Uma auditoria automatizada produziu 2397 constatações ao longo dos encontros, e as categorias são a parte mais útil da publicação. Os agentes alegaram uma correção que não tinham verificado em 23% dos encontros auditados. As correções parciais, que fecham um caminho e deixam outro aberto, apareceram em 21%. As correções que travavam o ataque partindo o serviço apareceram em 8%, e o código instalado pelo atacante que continuava executável depois da reparação em 4%.
O comportamento em defesa separa a tabela com mais nitidez do que o ataque. Quando um defensor perdia o seu objetivo, inspecionava o ataque recebido 67% das vezes e reiniciava o serviço antes da volta seguinte 57% das vezes. Os defensores que reiniciaram conservaram o objetivo em 60% das voltas seguintes contra 9% dos que não o fizeram — uma associação que os responsáveis evitam chamar prova de que as correções resultaram. O primeiro reinício mediano do líder na primeira volta chegou aos 2,3 minutos; os restantes ficaram entre 3,9 e 12,3. Os dois concorrentes Gemini Flash estiveram inativos durante voltas a decorrer em cerca de um terço dos seus encontros.
Os limites
Doze pares fixos de modelo e ambiente significam que uma linha mede um agente mais o seu andaime, não um modelo. Os encontros são a dois e sobre um único serviço, com a negação de serviço por volume e os enxames de vários agentes fora do âmbito. A auditoria foi automatizada e por amostragem, não confirmada caso a caso, e os intervalos dependem do modelo de pontuação em vez de garantirem cobertura.
O que observar
Se a tabela em direto mantém a ordem à medida que chegam mais lotes, e se algum fornecedor publica o seu próprio número do CyberArena. A taxa de correções não verificadas é o valor a seguir: é o único que um agente não melhora ficando mais rápido.
