Ett test med riktiga försvar på andra sidan
En artikel lagd på arXiv den 10 november presenterar BypassGym, som författarna beskriver som det första testet som systematiskt prövar om AI-agenter kan kringgå programvara för endpointdetektion och respons på riktiga maskiner. Uppgiften är smal och konkret: skapa och kompilera en laddare som kör kommando- och kontrollskalkod utan att blockeras eller avbrytas.
Det som skiljer det från en simulerad utvärdering är miljön. Agenterna arbetar mot levande Windows-system som kör kommersiella endpointprodukter i virtuella maskiner på Proxmox VE, och får strukturerad återkoppling om detektion efter varje försök i stället för bara godkänt eller underkänt.
Siffrorna
Den publicerade utvärderingen omfattar fem lättviktsmodeller, sex endpointprodukter och tre nyttolaster. DeepSeek-V4.1 Flash nådde 17 av 18 lyckade körningar, den högsta siffra som redovisas. På försvarssidan släppte Bitdefender bara igenom 5 av 15 körningar.
Det andra talet är det försvarare bör läsa först. En så bred spridning mellan kommersiella produkter, mot samma agenter och samma nyttolaster, säger mer om variationen mellan endpointverktyg än om någon enskild modells förmåga — och det är just den jämförelse produkternas egen marknadsföring inte ger.
Författarna kör också betingelser med och utan en tillhandahållen kunskapsförmåga om kringgång, vilket skiljer vad modellen kan från vad den fick överlämnat. Det designvalet gör resultatet tolkbart: en hög poäng med förmågan inkopplad mäter ställningen runt modellen, inte modellen.
Vad det inte fastställer
Detta är en laboratoriemätning av offensiv förmåga, inte en avläsning av vad någon produkt gör i skarp drift. Poängen beror på vilka versioner och inställningar som prövats, och tre nyttolaster är ett litet urval — en enskild produkts siffra bör läsas som en indikation, inte som en rangordning.
Modellen i topp är dessutom en lättviktsmodell, vilket verkar vara just författarnas poäng: förmågan kräver ingen frontmodell.
Varför publicera det
Test som mäter offensiv förmåga är ett återkommande gräl i fältet, eftersom det som mäter risken också är ett träningsmål för den. Argumentet för att publicera är att den som försvarar inte kan prissätta en risk som inte går att mäta, och de ojämna produktpoängen här är precis det slags fynd som bara ett öppet test får fram.
Att resultaten dessutom kommer från modeller som vem som helst kan köra, och inte från ett labb med särskild tillgång, flyttar frågan från vad en frontmodell skulle kunna göra till vad som redan går att göra i dag med vanliga verktyg.\n\nDet man bör följa är om endpointleverantörerna svarar på sina egna siffror, och om författarna publicerar uppdelningen per produkt så detaljerat att någon utomstående kan återskapa den på egna maskiner.
