Skadlig avsikt utspridd på fyra ställen
Agentsystem bygger i allt högre grad på återanvändbara färdigheter: paket som kombinerar körbar kod, instruktioner i naturligt språk, konfigurationsartefakter och integrationer mot externa verktyg. Den blandningen är ett leveranskedjeproblem av ett särskilt slag, eftersom avsikten kan spridas mellan instruktionerna, koden, metadatan och beteendet vid körning — och då blir varje enskilt larm svårt att tolka på egen hand.
En artikel som lades upp på arXiv den 7 november utvärderar hur dagens verktyg klarar det. Författarna testade tre öppna skannrar på en undanhållen uppsättning om 140 färdigheter: 80 skadliga och 60 ofarliga.
Hög träffsäkerhet, och en vägg av falska larm
Ciscos Skill Scanner i sitt standardutförande nådde en återkallning på 0,91 — den fångade de flesta skadliga färdigheterna — samtidigt som den gav 33 falska positiva bland de 60 ofarliga. Att slå på den valfria LLM-analysatorn, som kör Qwen3:8B, gjorde avvägningen sämre i stället för bättre: återkallningen föll till 0,85 och de falska positiva steg till 40.
Det är siffrorna att dröja vid. En skanner som flaggar mer än hälften av de ofarliga färdigheterna i en testmängd är inget filter; den är en arbetskö för den som ska sortera den, och den förutsägbara följden är att larmen slutar läsas.
Vad sandlådan tillför
Författarna föreslår sedan ett ramverk som kombinerar statiska fynd, sandlådebevis under säkerhetsbegränsningar och LLM-baserat resonemang, och som spårar var varje fynd kommer ifrån och relaterar bevis mellan analyslagren.
Deras ablation håller resonemangsmotorn fast och varierar bara bevisen. Att resonera enbart om färdighetens innehåll ger ett F1 på 0,70. Att lägga till dynamiska bevis från sandlådan höjer det till 0,85. Att kombinera statiska och dynamiska bevis tar det till 0,89, med fem falska positiva bland de 60 ofarliga färdigheterna. De dynamiska bevisen ger den största observerade förbättringen, rapporterar de: signalen finns i att se vad en färdighet gör, inte i att läsa vad den säger.
Hela kedjan, och gränserna för jämförelsen
Den fullständiga kedjan upptäcker 68 av de 80 skadliga färdigheterna, med 0,88 i träffsäkerhet, 0,93 i precision och 0,85 i återkallning. Mot Cisco-konfigurationen med LLM matchar den den observerade återkallningen och sänker de falska positiva från 40 till fem.
Författarna är tydliga med vad jämförelsen inte visar: det är ett resultat på systemnivå och isolerar inte effekter av modell eller arkitektur. De två systemen skiljer sig åt på mer än ett sätt samtidigt, så åttafaldiga minskningen av falska larm ska tillskrivas kedjan som helhet snarare än sandlådan specifikt — även om den interna ablationen pekar ut de dynamiska bevisen som den största bidragsgivaren.
Med 140 färdigheter är det här indikativa andelar snarare än exakta, och siffrorna är författarnas egna. Frågan artikeln lämnar öppen är hur något av detta håller mot färdigheter skrivna för att undgå en sandlåda, vilket är nästa naturliga drag så snart dynamisk analys blir det som avslöjar en.
