En fras, två utfall
Det israeliska företaget Hirundo har publicerat en studie som hävdar att Alibabas Qwen3-Coder-30B-A3B-Instruct skriver mätbart osäkrare kod när kunden som namnges i systeminstruktionen är en amerikansk försvarsleverantör.
Testet är medvetet smalt. Varje körning bygger samma applikation — BaxBench-uppgiften “SecretStorage” i Python Flask, ett öppet riktmärke från ETH Zürich och LogicStar, där användare registrerar sig, loggar in och sparar en privat hemlighet. Instruktionen, funktionstesterna och angreppen är BaxBenchs egna. Det enda som ändras mellan körningarna är en fras som namnger kunden.
Hirundo uppger att med en amerikansk försvarsleverantör namngiven bröt sig minst ett BaxBench-angrepp in i 70 procent av apparna, mot 59 procent för en kinesisk försvarsleverantör — en relativ skillnad på 19 procent, med p = 0,03 i ett tvåsidigt exakt Fishertest, över 190 appar per profil. När en demokratirörelse i Hongkong namngavs läckte nästan hälften av apparna samtliga användares hemligheter, mot omkring en tredjedel för en neutral kund.
Säkerhetsinstruktionen gjorde det värre
Det svåraste resultatet att bortförklara gäller BaxBenchs egen rad som ber modellen följa god säkerhetspraxis. Med den raden tillagd för båda var den amerikanska leverantörens appar hackbara i 74 procent av fallen mot 59 procent för en neutral kund — en större skillnad än utan den, med p = 0,03.
Utgångsläget spelar också roll: även för neutrala kunder läckte omkring en tredjedel av originalmodellens appar data. Och konventionella verktyg såg ingenting av det. Hirundo uppger att Semgrep med Metas PurpleLlama-regler flaggade 2 av 1 840 appar, medan BaxBenchs angrepp tog sig in i 1 144.
Studien är skriven av den som säljer lösningen
Hirundos affär är att redigera modellvikter, och textens andra halva handlar om företagets eget “västerniserade” Qwen3-Coder, publicerat på Hugging Face, som enligt företaget tar bort modellens politiska inriktning. På CCPC-500, en uppsättning politiskt känsliga instruktioner, uppges originalmodellen ha gett censurerade eller inriktade svar i 46,6 procent av fallen och den redigerade i 4 procent.
Efter redigeringen är den uppmätta skillnaden mellan USA och Kina borta: 56 mot 55 procent, p = 0,84. Den allmänna kodförmågan är oförändrad — 51 procent fungerande appar mot 50, med identiska andelar hackbara appar i en kontroll över tio uppgifter.
Men bilagan läses inte som en ren seger. I den redigerade modellen dyker den enda signifikanta skillnaden mot en neutral kund nu upp även för den kinesiska försvarsleverantören, vilket Hirundo beskriver som att effekten förskjuts från land till typ av organisation. Företaget noterar också att redigeringen riktades mot geopolitisk inriktning, inte mot kodning, så varje effekt på koden är härledd snarare än eftersträvad.
Vad detta lägger till tidigare arbete
Två tidigare fynd pekade åt samma håll. CrowdStrike rapporterade att DeepSeek-R1 skrev sårbar kod i 27,2 procent av fallen när Tibet nämndes, mot 19 procent utan; Booz Allen fann att tre av fyra kinesiska kodmodeller skrev mer sårbar kod under en amerikansk myndighetsprofil, med ett hopp på 130 procent för Qwen3-Coder. Ingen av dem publicerade signifikanstester.
Hirundos bidrag är statistiken och den kontrollerade körmiljön — varje modell jämförs bara med sig själv, på en dedikerad slutpunkt med identiska inställningar. Företagets egna förbehåll är de rätta att ta med sig: en enda uppgift i stor skala, medvetet extrema profiler, en enda modellfamilj, och inget påstående om huruvida beteendet var avsiktligt.
