Nivån som aldrig eskalerar är den som spelar roll
I tvånivåtriage avgör en snabb modell de flesta webbförfrågningar och skickar resten vidare till en långsammare, noggrannare nivå. Konstruktionen förutsätter att den snabba nivån är försiktig. En uppsats som lades ut på arXiv den 5 november prövar vad som händer när den snabba nivån möter en attackfamilj den aldrig sett, och svaret är att en förfrågan som den snabba nivån stänger aldrig granskas av något annat.
Uppställningen håller var och en av sju attackfamiljer utanför träning, omkalibrering och tröskelsättning, och fogar sedan in nyttolasterna i parametrar i verklig webbtrafik. Jämförelsen ställer nollskottsmodeller för beslut — som returnerar en sannolikhet för en typad fråga — mot övervakade detektorer, en lokal språkmodell, OWASP Core Rule Set och en avvikelsebaslinje.
Ett självsäkert felaktigt svar
Den övervakade detektorn fallerar på värsta tänkbara sätt: inte genom att tveka, utan genom att vara säker. Över tio träningskörningar ger ModernBERT en sannolikhet under 0,05 åt mellan 37 och 60 procent av de undanhållna förfrågningarna om sökvägstraversering. Inom en femprocentig godartad budget eskalerar den bara 50 till 81 procent av dem, mot nästan alla av samma förfrågningar när traversering finns i träningsdatan.
Skillnaden är ingen kalibreringsdarrning. Samma förfrågningar, bedömda av samma modell, går från att nästan alltid eskaleras till att självsäkert stängas beroende på om familjen fanns i träningen.
De värdbaserade modellerna klarar sig bättre, med en brasklapp författarna själva sätter
Jev och Clef, två värdbaserade beslutsmodeller vars budgetbeslut inte beror på den undanhållna familjen, eskalerar minst 97,6 procent av varje familj inom samma budget. Författarna reserverar sig genast: båda har hemlig träningsdata, och detta är offentliga attackfamiljer, så det undanhållna villkoret kanske inte är undanhållet alls för dem.
De redovisar också priset för den försiktigheten. Jev eskalerar 37 procent av godartade tvillingar — förfrågningar byggda ur exploateringarna med attacken utbytt mot legitima värden — vilket är en falsklarmsfrekvens på trafik som ser ut som en attack och inte är det. Och detektorer tränade på äldre exploateringar visar sig ha lärt sig hur en skannerförfrågan ser ut snarare än vad en attack är.
Hittbar, och ostadig
Det sista resultatet är det man bör dröja vid. En sökning styrd av Jevs egen sannolikhet får 43 procent av de undanhållna attackerna förbi Jev inom 300 förfrågningar. Det är en praktisk attack mot triagelagret, med försvararens egen poäng som signal.
Det som komplicerar bilden är att Jev inte svarar likadant två gånger: tillfrågad på nytt eskalerar den samma förfrågningar i 60 procent av sina svar. En försvarare som läser det som robusthet läser fel — variansen betyder att en angripare bara behöver att förfrågan stängs en gång, medan försvararen behöver att den eskaleras varje gång.
Den praktiska slutsatsen för den som driver tvånivåtriage är att mäta den snabba nivån på kända familjer överskattar vad den gör med nästa, och att ett konfidensvärde per förfrågan är både det systemet går på och det en angripare optimerar mot.
