Intención maliciosa repartida en cuatro sitios
Los sistemas agénticos funcionan cada vez más con habilidades reutilizables: paquetes que combinan código ejecutable, instrucciones en lenguaje natural, artefactos de configuración e integraciones con herramientas externas. Esa mezcla plantea un problema de cadena de suministro de software con una forma concreta, porque la intención puede repartirse entre las instrucciones, el código, los metadatos y el comportamiento en ejecución, y entonces cada alerta aislada resulta difícil de interpretar.
Un artículo publicado en arXiv el 7 de noviembre evalúa cómo responden las herramientas actuales. Los autores probaron tres escáneres de código abierto sobre un conjunto retenido de 140 habilidades: 80 maliciosas y 60 benignas.
Mucha detección, y un muro de falsas alarmas
El Skill Scanner de Cisco en su configuración por defecto logró una recuperación de 0,91 —detectó la mayoría de las habilidades maliciosas— mientras producía 33 falsos positivos entre las 60 benignas. Activar su analizador opcional basado en LLM, con Qwen3:8B, empeoró el intercambio en vez de mejorarlo: la recuperación bajó a 0,85 y los falsos positivos subieron a 40.
Esas son las cifras con las que conviene quedarse. Un escáner que marca más de la mitad de las habilidades inofensivas de un conjunto de prueba no es un filtro: es una cola de trabajo para quien tenga que clasificarla, y el desenlace previsible es que las alertas acaben ignoradas.
Lo que aporta el sandbox
Los autores proponen después un marco que combina hallazgos estáticos, pruebas de sandbox con restricciones de seguridad y razonamiento basado en LLM, rastreando de dónde viene cada hallazgo y relacionando las pruebas entre capas de análisis.
Su ablación mantiene fijo el motor de razonamiento y varía solo las pruebas. Razonar únicamente sobre el contenido de la habilidad da un F1 de 0,70. Añadir pruebas dinámicas del sandbox lo sube a 0,85. Combinar pruebas estáticas y dinámicas lo lleva a 0,89, con cinco falsos positivos entre las 60 habilidades benignas. Las pruebas dinámicas, informan, aportan la mayor mejora observada: la señal está en mirar lo que hace una habilidad, no en leer lo que dice.
La tubería completa y los límites de la comparación
La tubería completa detecta 68 de las 80 habilidades maliciosas, con una exactitud de 0,88, una precisión de 0,93 y una recuperación de 0,85. Frente a la configuración de Cisco con LLM, iguala la recuperación observada y reduce los falsos positivos de 40 a cinco.
Los autores son explícitos sobre lo que esa comparación no establece: es un resultado a nivel de sistema y no aísla los efectos del modelo ni de la arquitectura. Los dos sistemas difieren en más de una cosa a la vez, así que la reducción por ocho de las falsas alarmas es atribuible a la tubería en conjunto y no al sandbox en concreto, aunque la ablación interna apunte a las pruebas dinámicas como principal contribuyente.
Con 140 habilidades, estas son tasas indicativas más que precisas, y las cifras son de los propios autores. La pregunta que deja abierta el artículo es cómo aguanta todo esto frente a habilidades escritas para evadir un sandbox, que es el siguiente movimiento natural en cuanto el análisis dinámico pasa a ser lo que te descubre.
