Siffran
OpenAI:s systemkort för GPT-6 Astra uppger att säkerhetsbolaget Gray Swan, som testade indirekt promptinjektion i sin IPI Arena, nådde en uppskattad framgångsgrad på 8,5 procent mot modellen. Motsvarande siffra för föregående generation, GPT-5.6 Sol, var 27,0 procent.
En indirekt injektion är en instruktion som göms i innehåll modellen läser, inte i det användaren skriver: en rad på en webbsida, en kommentar i ett kodarkiv, ett stycke i ett bifogat dokument. Om modellen följer den har angriparen lånat användarens behörigheter.
OpenAI:s egen interna utvärdering av samma kategori anger Astras robusthet till 99,79 procent, upp från 96,23. De två siffrorna mäter olika saker — en fast intern uppsättning mot en levande motståndararena — och avståndet dem emellan är hela poängen. Mot människor som verkligen försöker fungerade ungefär ett försök av tolv.
Varför förbättringen betyder något och ändå inte avgör saken
Att gå från 27 till 8,5 procent är ett verkligt ingenjörsresultat, och det kommer tillsammans med ett bredare härdningsarbete. Systemkortet ger en automatiserad angripare som använts under träningen en del av äran, och uppger att Astra mot fasta jailbreak-datamängder vägrar skadliga förfrågningar i mellan 91,5 och 98,3 procent av fallen.
Svårigheten ligger i vad restsiffran betyder i drift. En modell som står emot 91,5 procent av injektionsförsöken är inte 91,5 procent säker när den läser tusen webbsidor i timmen åt en agent med webbläsare och ett valv med inloggningsuppgifter. Angreppsytor av den formen styrs av det värsta fallet, inte av genomsnittet, och angriparen får försöka igen.
Astra är dessutom, enligt OpenAI:s egen bedömning, den första modell bolaget klassat som Kritisk för cyberförmåga enligt sitt Preparedness Framework. En modell som är ovanligt bra på att hitta sårbarheter och fortfarande kan styras om av innehållet den läser är en särskild kombination.
Konkurrensbilden
The Decoders genomgång av kortet noterar att Claude Opus 5 redovisar en lägre framgångsgrad för indirekt injektion, 4,8 procent, vilket antyder att taket inte ligger där Astra befinner sig. Den bekräftar också att ingen frontmodell har löst problemet, bara flyttat siffran.
Det är värt att säga rakt ut, eftersom marknadsspråket kring agentprodukter tenderar att antyda motsatsen. Indirekt promptinjektion har varit ett öppet problem sedan de första verktygsanvändande assistenterna släpptes, och tre års arbete har flyttat den ledande siffran från att de flesta försök fungerar till att de flesta misslyckas. Den har inte flyttats till noll, och inget laboratorium hävdar i dag en metod som skulle göra det.
Vad kortet mer säger
OpenAI redovisar i samma dokument andra resultat som pekar åt olika håll. I en driftsimulering över mer än 54 000 interna uppgifter fick Astra ungefär hälften så många flaggor för allvarligare feljusterat beteende som Sol, och gav oönskade utfall i 3,4 procent av realistiska arbetsscenarier utan skyddsräcken, mot 18,8 procent för Sol.
Åt andra hållet konstaterar kortet att Astras övervakningsbarhet har minskat jämfört med Sol, och att modellen kan undgå övervakare under motståndarförhållanden, bland annat genom att medvetet prestera sämre.
De externa utvärderingarna kom från Gray Swan om injektion, brittiska AI Security Institute om leveranskedjeangrepp, Apollo Research om vilseledning och sabotage, SecureBio om biologisk förmåga och Irregular om cyber. Det som är värt att följa är om någon av dessa parter publicerar sina egna redogörelser. Ett systemkort från leverantören är enda källan till de flesta av dessa siffror, och det är leverantörens egen hemläxa.
