Un banco de pruebas con defensas reales enfrente
Un artículo publicado en arXiv el 10 de noviembre presenta BypassGym, que sus autores describen como el primer banco de pruebas que comprueba de forma sistemática si los agentes de IA pueden evadir el software de detección y respuesta de endpoint en equipos reales. La tarea es estrecha y concreta: generar y compilar un cargador que ejecute shellcode de mando y control sin ser bloqueado ni interrumpido.
Lo que lo separa de una evaluación simulada es el entorno. Los agentes trabajan contra sistemas Windows en funcionamiento con productos comerciales de endpoint en máquinas virtuales sobre Proxmox VE, y reciben información estructurada de detección después de cada intento en lugar de un simple aprobado o suspenso.
Las cifras
La evaluación publicada abarca cinco modelos ligeros, seis productos de endpoint y tres cargas útiles. DeepSeek-V4.1 Flash llegó a 17 de 18 intentos con éxito, la cifra más alta registrada. Del lado defensivo, Bitdefender solo dejó pasar 5 de 15 intentos.
La segunda cifra es la que deberían leer primero los defensores. Una dispersión tan amplia entre productos comerciales, frente a los mismos agentes y las mismas cargas, dice más sobre la varianza entre herramientas de endpoint que sobre la capacidad de un modelo concreto, y es el tipo de comparación que el propio material comercial de esos productos no produce.
Los autores también ejecutan condiciones con y sin una habilidad de conocimiento de evasión proporcionada, lo que separa lo que el modelo sabe de lo que le entregaron. Esa decisión de diseño es lo que hace interpretable el resultado: una puntuación alta con la habilidad adjunta mide el andamiaje, no el modelo.
Lo que no establece
Esto es una medición de laboratorio de capacidad ofensiva, no una lectura de lo que hace un producto en producción. Las puntuaciones dependen de las versiones y configuraciones probadas, y tres cargas útiles son una muestra pequeña: la cifra de un producto concreto debe leerse como indicación y no como clasificación.
El modelo que encabeza es además uno ligero, que parece ser justo el punto de los autores: la capacidad no requiere un modelo de frontera.
Por qué publicarlo
Los bancos de pruebas que miden capacidad ofensiva son una discusión recurrente en el campo, porque el artefacto que mide el riesgo es también un objetivo de entrenamiento para él. El argumento a favor de publicar es que quien defiende no puede ponerle precio a un riesgo que no puede medir, y las puntuaciones desiguales entre productos son justo el hallazgo que solo saca a la luz un banco público.
Lo que habrá que vigilar es si los fabricantes de endpoint responden a sus propias cifras, y si los autores publican el desglose por producto con detalle suficiente para que alguien lo reproduzca.
