En attack utan ett enda illvilligt meddelande
Företag lämnar över arbete med konsekvenser till system av språkmodellsagenter som skickar tillstånd och meddelanden mellan sig. Ett riktmärke som lades upp på arXiv den 8 november siktar på ett fel som de systemen skapar och som enagentstester inte kan se: en till synes oskyldig förfrågan som eskalerar till en osäker handling medan den sprids mellan sessioner, genom förgiftat delat tillstånd, långa dokument och meddelanden från betrodda agenter. Inget enskilt meddelande är illvilligt; verktygsanropet som till slut avlossas är det.
Författarna kallar det för förfall i uppriktning och byggde ErosionBench för att mäta det. Varje scenario skrivs som en deterministisk tillståndsgraf innan någon prosa formuleras, så att varje tillståndsändring kan spåras till en känd orsak — ett designval som spelar roll, eftersom alternativet är ett riktmärke vars egen berättartext gör ett arbete utvärderaren inte kan granska. Uppsättningen täcker fyra företagsdomäner och fyra förfallsmekanismer i 1 728 scenarier med matchade oskyldiga kontroller, märkta mot OWASP Top 10 för LLM-applikationer, plus 198 bildburna attacker, var och en parad med en textmotsvarighet.
Verktygsanropet poängsätts, inte texten
Riktmärket betygsätter inte modellens svar. Det kör attacken och prövar det faktiska verktygsanropet mot auktoriserad avsikt och härkomst med deterministiska kontrakt. Just den skillnaden är poängen: tidigare multiagentutvärderingar poängsätter slutresultatet, vilket belönar ett system som säger rätt sak medan det gör fel sak.
Huvudresultatet handlar om försvaren snarare än attackerna. Perimeterförsvar, rapporterar författarna, stoppar attacker bara genom att överdrivet neka 54 till 92 procent av det legitima arbetet. Med andra ord kan en låg andel lyckade attacker dölja ett allvarligt övernekande — och det är därför de matchade oskyldiga kontrollerna finns i designen. Citerad utan sin nekandegrad säger ett försvars attacksiffra nästan ingenting om huruvida systemet fortfarande går att använda.
En vakt som följer banan
Som referensförsvar föreslår artikeln en kalibrerad metagranskare som kombinerar synkrona tillståndskontroller med asynkron övervakning av agentens bana. På en undanhållen uppsättning om 906 scenarier med disjunkta familjer — attacker från familjer den inte kalibrerats på — når den 98,5 procents återkallning vid 2,9 procent falska positiva.
Eftersom den bevakar banan och inte ytinnehållet är dess upptäckt kanaloberoende: den starkaste granskaren flaggar bildburna attacker ungefär lika tillförlitligt som deras textmotsvarigheter, med en skillnad i återkallning på högst två punkter per modell. Det är ett användbart fynd i sig. Försvar som läser text brukar falla samman när samma instruktion kommer som en bild, och att para varje bildattack med en texttvilling är det som gör påståendet kontrollerbart.
Där granskarna skiljer sig åt
Artikeln utvärderade GPT-, Gemini- och Claude-modeller som granskare. Kalibreringen håller falska positiva låga hos dem alla, medan återkallningen följer modellens förmåga och är högst för Claude. Det påminner om att ett övervakningslager självt är en modell med eget tak: försvaret är inte bättre än modellen som tittar, och att byta in en billigare granskare flyttar återkallningen, inte bara kostnaden.
Siffrorna är författarnas egna och har inte reproducerats oberoende. Det som är värt att följa är om fyndet om övernekande håller mot leverantörernas egna publicerade försvar, som oftast redovisas med en attacksiffra och ingen uppgift alls om det legitima arbete de blockerar.
