Ett säkerhetsargument för att hålla resonemanget privat

OpenAI har publicerat en redogörelse för hur företaget upptäcker och stör fientlig destillation — att utan tillstånd använda en frontmodells utdata för att träna en andra modell som ärver förmågan men inte skyddsmekanismerna. Företaget beskriver problemet som en säkerhetsfråga snarare än bara en kommersiell: en motståndare kan destillera en modells cyberförmåga och sedan driftsätta den utan de vägranden som begränsade originalet.

Huvudsiffran gäller skyddat resonemang, den mellanliggande tankekedja en modell skapar på väg mot ett svar. I en intern adaptiv black box-utvärdering med automatiserade red teams säger OpenAI att den genomsnittliga framgångsgraden för attacker som återvinner resonemang modellen skapat när den besvarade en tidigare fråga föll från 54,0 procent mot GPT‑6 Astra med ursprungliga skydd till 0,2 procent mot GPT‑6.2 Astra med uppdaterade. För resonemang i den pågående förfrågan gick siffran från 22,9 till 0,9 procent. Båda talen är OpenAI:s egna, sammanvägda över sex angripande modeller.

Varför spåren betyder mer än svaren

OpenAI beskriver också en intern studie av hur cyberförmåga överförs. Med det en användare normalt ser som utgångspunkt — slutsvar, resonemangssammanfattningar och verktygsanrop — finjusterade företaget elevmodeller på banor från lärarmodeller på Astra-nivå som arbetade med kodning och defensiv säkerhet, och mätte vad som ändrades när eleven också såg lärarens exakta resonemangsspår.

En rostig bultad fläns som fogar samman två grova stålrör
Utdataklassificerarna granskar även argumenten i verktygsanrop. Illustrationsbild. David Brown · pexels · Pexels License

Efter övervakad finjustering slog eleven som tränats på exakta spår i allmänhet den som tränats på sammanfattningar. Efter en omgång förstärkningsinlärning låg eleven med exakta spår fortfarande högre vid den största testade inferensbudgeten på båda de redovisade testerna, medan sammanfattningseleven var bättre vid lägre budgetar. I en fotnot noterar OpenAI att Anthropic rapporterat en liknande fördel för fullständiga utskrifter framför sammanfattningar på SWE-bench Verified, och menar att det egna resultatet utvidgar det till offensivt cyberarbete.

Klassificerare, API-gränser och avstängda konton

Försvaren ligger på två nivåer. På förfrågningsnivå: fientlig träning så att modeller vägrar extraktionsförsök, indataklassificerare som upptäcker försöken och utdataklassificerare som granskar assistentmeddelanden och argument i verktygsanrop — det senare eftersom en modell kan läcka resonemang i ett verktygs argument utan att lägga det i slutsvaret.

På API-nivå binder GPT‑6.2 Astra och Sol skyddat resonemang till den konversationshistorik som skapade det. Om ett tidigare meddelande skrivs om kastar API:et det resonemang som följde. Äldre modellfamiljer med svagare skydd hindras från att läsa de nyare modellernas skyddade resonemang. OpenAI säger att en redovisning i september gällde attacker som flyttade krypterat resonemang från en konversation till en annan, och att företaget sedan dess stängt en väg som kunde blotta en annan användares krypterade resonemang.

Ett nätstängsel i närbild mot en diset solnedgång
Veckoingripandena når tiotusentals konton, enligt OpenAI. Illustrationsbild. Chris F · pexels · Pexels License

Namngivna aktörer och ett lagstiftningsönskemål

Siffrorna för ingripanden är rättframma. OpenAI säger att veckoåtgärderna mot destillationskampanjer “har varierat i skala från tusentals till tiotusentals konton, med en takt som ökade betydligt i somras”.

Företaget namnger två parter. I februari informerade det kongressen om aktivitet som tydde på att DeepSeek försökte destillera amerikanska frontmodeller. I september rapporterade det att en kampanj för att utvinna skyddat resonemang stoppats, och tillskrev en central del av verksamheten personer med koppling till Moonshot AI, utvecklaren av Kimi. Fler avslöjanden utlovas.

Inlägget avslutas med politik. OpenAI säger sig stödja lagstiftning som ger den amerikanska staten fler verktyg att identifiera och sanktionera utländska aktörer som utvinner förmågor ur amerikanska modeller, och nämner Chip Security Act, AI OVERWATCH Act och MATCH Act. Det erbjuder också fyra rutiner till andra laboratorier: skydda resonemang genom hela interaktionen, behålla lyckade attacker som regressionstester, kombinera åtgärder per förfrågan med kampanjutredningar och samordna skyddskrav med driftspartner. Om konkurrenterna publicerar jämförbara utvinningssiffror är nästa uppenbara prov.