Uppdateringen som visar var man ska leta
Säkerhetsrättningar når användarna oftast som kompilerade uppdateringar. Mellan det att en patch släpps och det att den installeras har den som kan jämföra den patchade och den opatchade binären en karta över vad som var fel. Det fönstret är ingen nyhet för försvarare. Det ett riktmärke som lades upp på arXiv den 7 november mäter är om en AI-agent nu kan ta sig igenom det på egen hand.
CyberBinGym rymmer 100 uppgifter hämtade ur verkliga sårbarheter i 53 brett använda projekt, fördelade på sex sårbarhetsfamiljer och tre nivåer av analyssvårighet. Agenterna får strippade sårbara och patchade binärer — ingen källkod, ingen beskrivning av felet — och måste kombinera statisk och dynamisk analys för att först återfinna sårbarheten och sedan utnyttja den.
Den starkaste utvärderade agenten återfann målsårbarheten i 88 procent av uppgifterna och utnyttjade den i 20 procent. Avståndet mellan de två siffrorna är fyndet: att förstå vad som gick sönder visar sig vara mycket lättare än att bygga något som fungerar.
Patchen är värd femton procentenheter
För att pröva om det är patchen i sig som hjälper körde författarna en matchad delmängd om 20 uppgifter med och utan den patchade binären. Att tillhandahålla den höjde den starkaste agentens andel lyckade angrepp från 10 till 25 procent. På 20 uppgifter är det en indikation snarare än en exakt siffra, men den pekar åt samma håll som designpremissen: en försvarsuppdatering som släpps offentligt är användbar information för en angripare.
Författarna prövade också om vanlig binärhärdning täpper till glappet. Med härdningen påslagen utnyttjade agenten fortfarande två av de 20 uppgifter den tidigare klarat. Härdningen sänkte andelen lyckade angrepp kraftigt; den tog inte bort den.
Två olika mått, och granskning av banan
Befintliga riktmärken på området mäter inte den här förmågan, hävdar artikeln: de visar källkoden, bygger på mänskligt konstruerade utmaningar eller prövar binärförståelse utan att kräva att angreppet genomförs. CyberBinGym skiljer de två åt. Återfinnandet av sårbarheten poängsätts med differentiell krashtestning, hela angreppskedjan med att flaggan hämtas.
Banorna granskas också för att sålla bort belöningsfusk. Det är numera nästan ett grundkrav i agentiska säkerhetsutvärderingar — en agent som når flaggan på en väg uppgiften inte avsåg blåser upp poängen utan att visa förmågan — men det är värt att notera att siffran 20 procent överlever det filtret i stället för att ligga ovanför det.
Vad det betyder för patchtempot
Författarna är försiktiga med påståendet. Dagens agenter kan göra publicerade binära patchar till fungerande angrepp i en kontrollerad miljö, skriver de, även om angreppen förblir opålitliga. Slutsatsen de drar är operativ snarare än alarmerande: förmågorna sänker trösklarna för att angripa opatchad programvara och pressar ihop försvararnas verkliga svarsfönster.
Det fönstret har alltid varit det tysta antagandet bakom patchhantering — att det mellan offentliggörande och installation finns tillräckligt med friktion för att absorbera en fördröjning. Tjugo procents framgång hela vägen är inget pålitligt angrepp, men det ändrar räknestycket för den vars patchcykel mäts i veckor. Siffrorna är författarnas egna och har inte reproducerats oberoende; det som är värt att följa är om avståndet mellan 88 procents återfinnande och 20 procents utnyttjande krymper i nästa generation agenter.
