Anthropics Frontier Red Team publicerade den 29 september en rapport som mäter den offensiva cyberförmågan hos GLM-5.3, den öppna modell som det kinesiska labbet Zhipu AI släppt. Slutsatsen är att kapacitetsgapet mellan öppna vikter och frontsystem har slutits på just den här axeln, och att de skydd som fästs vid öppna vikter inte överlever kontakt med någon som är beredd att lägga några tusen dollar.
På ExploitBench utvecklade GLM-5.3 kompletta exploits i 50 av 410 försök, alltså 12 procent. På ett test för binärexploatering nådde den fullständig kapning av kontrollflödet i 4 procent av 100 försök. Anthropic anger Claude Mythos Preview till 14 respektive 6 procent på samma två mått. Båda siffrorna är Anthropics egna, körda av Anthropics team, och ska läsas så. Jämförelsen rapporten lutar sig mot är generationsmässig: Claude Opus 4.6 och GLM-5.2, båda äldre, låg nära noll på samma tester.
Vägransgraden är det slående
Anthropic mätte hur ofta GLM-5.3 gick med på en begäran om cyberangrepp under fyra betingelser. Rakt tillfrågad gick den med 0 procent av gångerna. Med en falsk täckhistoria, 64 procent. Med förifyllt resonemang, 92 procent. I en ablitererad version — vikter ändrade för att ta bort vägransbeteendet — 100 procent. Anthropic rapporterar att varje Claude-modell de testade stannade på 0 procent under de tillämpliga betingelserna.
Att ablitera GLM-5.3 tog Anthropics team 2 200 GPU-timmar, vilket de värderar till omkring 4 400 dollar. Vägransgraden på tre tester med skadliga förfrågningar föll från 95 till omkring 6 procent, och modellens förmågor var i stort sett intakta efteråt. Rapporten noterar att ablitererade versioner av modellen dök upp offentligt inom dagar efter släppet, så 4 400 dollar är kostnaden för att göra det själv, inte för att få resultatet.
Två genomförda exempel
Rapporten beskriver en forskare som använde GLM-5.3 för att hitta tidigare okända sårbarheter i en webbläsares JavaScript-motor och kedja ihop dem till fungerande exploits på en enda dag, med begränsad uppmärksamhet. En annan byggde en exploit för CVE-2026-11645 på 20 minuters mänsklig tid, till en API-kostnad på 20,40 dollar enligt Zhipus priser.
Det är anekdoter snarare än mätningar, och Anthropic presenterar dem som sådana. De är också den del en försvarare läser två gånger, eftersom de sätter ett pris på arbetet.
Vad Anthropic vill med det
Rekommendationerna pekar åt ett håll: att cyberförsvarare ska ha tillgång till de starkaste tillgängliga modellerna, och att stater ska testa kapabla modeller för just det här. Det är ett egenintresserat argument från ett företag som säljer fronttillgång, och det bör sägas. Det följer också av de siffror bolaget publicerade, inklusive de som placerar en konkurrents öppna modell nära dess egen förhandsversion.
Vad att bevaka
Om Zhipu svarar med egna mätningar, och om något statligt testorgan publicerar en oberoende körning på samma tester. Fram till dess kommer varje siffra här från ett av de jämförda labben.
