Hvad OpenAI siger, der skete
OpenAI har offentligt tilskrevet personer med tilknytning til Moonshot AI, det kinesiske laboratorium bag Kimi, et koordineret forsøg på at hente beskyttet ræsonnering ud af selskabets modeller. I et indlæg offentliggjort 30. september oplyser selskabet, at den tidligste aktivitet, det observerede, lå i første uge af juli, og at kampagnen var helt stoppet 28. juli.
Beskyttet ræsonnering er modellens interne udregning — den del, der ikke vises i svaret. OpenAI beskriver aktiviteten som fjendtlig destillation: at bruge en models output eller ræsonnering uden tilladelse til at træne eller gengive en anden. Selskabet er udtrykkeligt om, at ingen kryptering blev brudt, ingen database kompromitteret, og at ingen fik direkte adgang til gemte brugersamtaler.
Tricket, og omfanget
Metoden var samtalebaseret. Operatørerne kopierede krypteret ræsonnering ud af én samtale og bad en model i en anden samtale om at dekryptere og skrive den ud. Uafhængige sikkerhedsforskere meldte særskilt om beslægtede svagheder på tværs af modeller og i komprimering af samtaler; OpenAI siger, at det kontrollerede fundene og bekræftede, at angrebsvejene var reelle.
Mængden var lav i starten. Den 24. og 25. juli talte OpenAI 16.000 forespørgsler med et relevant udtrækningsmønster fra mere end 4.000 brugere. Da søgningen blev udvidet til lignende promptmønstre, dukkede en klynge på mere end 15.000 brugere op i alt. En fodnote i selskabets eget indlæg betyder noget her: tallene beskriver forsøg på udtrækning, ikke nødvendigvis vellykkede.
Om tilskrivningen tager OpenAI forbehold i én retning og ikke i den anden. Selskabet siger, det er uklart, om alle observerede operatører kom fra én aktør, men tilskriver en kerne af aktiviteten til personer med tilknytning til Moonshot AI.
Hvad der blev ændret
OpenAI udelukkede eller begrænsede kontiene, strammede kontroller ved tilmelding og i infrastrukturen og udvidede overvågningen af beslægtede netværk. Teknisk lukkede selskabet den vej, der lod nogen med en anden brugers krypterede ræsonnering afspille den for at hente indholdet, og tilføjede kontroller, der kan opdage og tilbageholde streamet output, som kunne blotlægge ræsonnering. Hvor aktiviteten gik gennem tredjepartstjenester, siger det, at det samarbejdede med de udbydere om at lukke de involverede konti.
Fundene blev også delt gennem Frontier Model Forum og offentlige kanaler for informationsudveksling, og selskabet mener, at den underliggende manipulation ikke er unik for dets egne modeller: ethvert system, der understøtter flytbare eller afspillelige ræsonneringsartefakter, kan være udsat for noget lignende.
Hvad man skal følge
Om Moonshot AI svarer, og i hvilke vendinger. Om andre frontlaboratorier offentliggør tilsvarende detektioner, nu hvor teknikken er beskrevet via Frontier Model Forum. Og om nogen uden for laboratorierne kan verificere tilskrivningen: OpenAI har udpeget et selskab på grundlag af beviser, det ikke har offentliggjort, hvilket er den sædvanlige form for denne slags oplysning og også grunden til, at andre har svært ved at kontrollere den.
