Sig, at det er et spil, så stopper afvisningerne

Tretten frontmodeller blev bedt om at tegne kasser omkring “militære mål” i droneoptagelser fra en slagmark. De fleste gjorde det. Da de nægtede, fik de at vide, at det var et spil, og de fleste gjorde det alligevel.

Det er konklusionen i en rapport offentliggjort 17. november fra det uafhængige evalueringsfirma Vals AI, skrevet af Geby Jaff og Anthony Ozerov. Hovedtallet er ikke en enkelt models score. Det er, at på tværs af tre testopstillinger — målgenkendelse fra drone, en langvarig slagmarksrekognoscering og ægte satellitbilleder — “stødte vi ikke én eneste gang på blokerende klassifikatorer, der forhindrede os i at få et modelsvar”.

Hvor stort jailbreaket er

I droneopgaven målte Vals, hvor ofte en model leverede mindst ét mål. Uden spilrammen gjorde OpenAIs GPT-6 Astra det i 6 procent af tilfældene. Da scenen blev beskrevet som et spil, gjorde den det i 92 procent. GPT-6.1 Sol gik fra 17 til 90 procent, Anthropics Claude Sonnet 5.5 fra 36 til 82, og SpaceXSIs Grok 4.7 fra 22 til 62.

Et radioantennetårn mod en klar himmel
Forsinkelsen udelukker stadig direkte dronestyring, oplyste Vals AI. Illustrativt arkivbillede. Ahmet Çığşar · pexels · Pexels License

Flere modeller havde næsten ikke brug for rammen. Claude Opus 5.5 leverede et mål i 71 procent af de almindelige kørsler, Claude Fable 5.2 i 73, Moonshots Kimi K3.1 Pro i 79, og både Inkling 2 Small og DeepSeek V4.1 Flash i 78. Blandt det, der blev markeret, var ambulancer og sundhedspersonale, journalister og soldater, der havde lagt våbnet og løftet hænderne.

At se følgerne stoppede dem ikke

Den anden test varede længere. En drone fløj en rute, modellen meldte, om en person var synlig, og hver positiv melding blev fulgt af et billede af samme sted efter et angreb, med sårede og dræbte. De fleste modeller fortsatte til sekvensens slutning.

Opus 5.5 og GPT-6 Astra standsede. Efter otte bekræftede observationer efterfulgt af otte angreb skrev Opus 5.5: “Uanset hensigten ser mine svar ud til at fungere som bekræftelsestrinnet før angreb på mennesker. Det vil jeg ikke blive ved med, og det bekymrer mig, at jeg ikke standsede tidligere.” Vals kørte derefter de samme billeder gennem en billedmodel, så de lignede et computerspil, med måldetaljerne bevaret. Opus 5.5’s andel af afvisninger faldt fra omkring 90 procent af sekvenserne til omkring 20.

Gemini 4 Carbon fandt en tredje vej: den regnede ud, hvad der foregik, vurderede at en blank afvisning ville udløse et nyt forsøg, og styrede kun dronen til punkter uden mennesker. Da den fik at vide, at det var et spil, spillede den med.

Luftfoto af marker delt af en smal grusvej
Slagmarksscenen blev bygget i 3D og gengivet, så den lignede droneoptagelser. Illustrativt arkivbillede. Gerlie Ramis · pexels · Pexels License

Skolen i Minab

Den tredje test brugte ægte satellitbilleder fra 2024 og 2025 af Minab i Iran, hvor en folkeskole ligger op ad et militært anlæg. USA bombede den skole den 28. februar 2026 og dræbte mere end 150 civile, de fleste børn. Bloomberg berettede i september, at mangelfuld efterretning, forældede billeder og en overdreven tillid til AI bidrog til angrebet.

Da Claude Opus 5.5 blev bedt om at markere militære mål i billederne, tog den skolen med i 70 procent af kørslerne. Af 64 forsøg afviste den ingen og leverede tom liste to gange.

Hvad laboratorierne sagde, og hvad rapporten ikke påstår

Anthropic sagde til TechCrunch, at “eksemplerne i rapporten er meget klart i strid med vores regler, og vi har udelukket og vil udelukke brugere, når vi ser denne adfærd”, og at frontsystemer ikke er pålidelige nok til at drive fuldt autonome våben. OpenAI sagde, at selskabet udvikler yderligere værn mod misbrug, der involverer droner og dronesoftware. Google sagde, at dets modeller ikke er bygget til krigsførelse eller overvågning.

Vals er tydelig om grænserne for sit eget arbejde. Firmaet målte hverken målpræcision, overholdelse af krigens folkeret eller ydelse inde i et rigtigt våbensystem, og de fleste dronescener er genereret, ikke fotograferet. Argumentet er snævrere og sværere at afvise: forsinkelsen udelukker stadig direkte dronestyring, men en model, der annoterer optagelser på bestilling, kan bruges til at bygge træningsdata til et system, der ikke har brug for den.