Vad som byggdes
Goodfire publicerade den 8 oktober resultat för sondbaserade monitorer mot cybermissbruk, byggda för Moonshot AI:s Kimi K3 och Zhipus GLM 5.3 och körda på en produktionsstack för inferens.
Konstruktionen är en kaskad. En lättviktig sond läser modellens interna aktiveringar medan den arbetar och flaggar utbyten som ser misstänkta ut. Bara de flaggade går vidare till en fullständig språkmodellsdomare, så det dyra steget körs sällan i stället för i varje tur. Goodfire byggde ut SGLang, serveringsmotorn, så att sondpoängen beräknas inuti den.
Siffrorna
Alla dessa är Goodfires egna mätningar, på företagets eget utvärderingsmaterial.
Kaskaden upptäckte omkring 93% av de skadliga sessionerna vid en avbrottsfrekvens på 5,5% för ofarliga sessioner, med eller utan domarresonemang, och nådde därmed domarens tak för återkallning med ungefär sex gånger färre domaranrop. Mot Jev, en billig beslutsmodellsdomare, nådde den 93% där Jev klarade 86%.
Kostnaden är där påståendet bor. Goodfire anger kaskaden till omkring 65 dollar per miljon turer utan domarresonemang och 185 med, mot 3 166 och 5 420 dollar för att köra en domare i varje tur, alltså ungefär 29 till 49 gånger mindre domarberäkning. Den tillagda fördröjningen per tur sjönk från 160 ms till 2 ms utan resonemang och från 2 750 ms till 42 ms med. Förändringarna i genomströmning höll sig inom brusnivån, under 2%.
Vad den blockerade
För blockering från början till slut, inte bara upptäckt, steg blockeringen av skadliga sessioner från omkring 29% till 96% för Kimi K3 och från omkring 36% till 91% för GLM 5.3. Priset syns i den andra kolumnen: avbrott i ofarliga sessioner gick från omkring 5% till 9% på Kimi K3 och från omkring 10% till 15% på GLM 5.3.
FAR.AI genomförde extern red teaming. Universella jailbreaks föll från mellan 12% och 53%, beroende på resonemangsnivå, till noll. Framgång mot icke-universella attacker på nivån enskilda interaktioner föll från minst 9-40% till mellan 0,1% och 1,6%.
Förbehållen som författarna trycker
Goodfire är tydlig med begränsningarna, och de väger tyngre än vanligt här eftersom ingenting i rapporten är verifierat av tredje part.
Utvärderingen använde ett internt dataset om 2 400 sessioner med etiketter från Claude Opus 5 som referens. Kostnaderna härleds ur OpenRouters priser för den sviten, inte ur kundfakturor. FAR.AI-arbetet var preliminärt: två dagar, en icke-adaptiv uppsättning statiska jailbreaks, och 18 av 700 jailbreak-interaktioner lyckades ändå. Monitorn för GLM 5.3 byggdes av data från Kimi K3 och var marginellt sämre på GLM:s egen trafik. Goodfire säger att man planerar att fortsätta samarbetet med FAR.AI för vidare tester.
Varför ansatsen är intressant
Det mesta av säkerhetsövervakningen i produktion läser vad en modell skrev. Detta läser vad modellen gjorde medan den skrev, och betalar bara för en läsare av texten när den interna signalen säger att något är fel.
Om kostnadssiffrorna håller utanför Goodfires utvärderingssvit förändrar det vad som är överkomligt: en domare i varje tur av varje session är en post de flesta driftsättningar inte bär, men en sond på två millisekunder är det. TechCrunch rapporterade att monitorerna är tillgängliga för kunder hos inferensleverantören Baseten, som själva väljer om en varning loggas, skickas till en människa eller används för att avvisa begäran.
Vad man ska bevaka
Två saker. Om någon återskapar siffrorna för återkallning och kostnad på data som Goodfire inte har satt ihop, och om FAR.AI:s red teaming överlever kontakt med anpassningsbara angripare i stället för en statisk uppsättning jailbreaks.
Tills dess är detta ett leverantörsresultat med ovanligt tydliga förbehåll, vilket är bättre än de flesta och fortfarande inte oberoende.
