Hvad der blev fortalt, og hvad OpenAI bekræftede
The Information skrev først, at OpenAI bruger en teknik kaldet rekurrent dybde — nogle gange omtalt som loopede transformere — i GPT-6 Astra. Fortune skrev 3. september, at teknikken bekymrede en række AI-sikkerhedsforskere, og at OpenAIs forskningschef Jakub Pachocki bekræftede brugen, samtidig med at han lovede flere arkitekturdetaljer senere.
Mekanismen er enkel at beskrive. En almindelig ræsonnementsmodel producerer sine mellemtrin som tekst: den skriver tokens, og de tokens kan læses. Rekurrent dybde kører i stedet de samme transformerlag igen og igen over en skjult intern tilstand, før noget token overhovedet sendes ud. Den ekstra beregning sker i aktiveringer i stedet for i ord og efterlader derfor intet spor i outputtet.
Argumentet for teknikken er effektivitet: mere effektiv dybde uden en forholdsmæssigt større model.
Hvorfor sikkerhedsforskerne protesterer
Overvågning af tankekæden er det vigtigste praktiske værktøj, laboratorier og eksterne evaluatorer har til at opdage, at en model opfører sig forkert. Det virker af en uglamourøs grund: skal en model skrive sit ræsonnement ned for at bruge det, kan en revisor læse, hvad den skrev. Den egenskab er en bivirkning af arkitekturen, ikke et bevidst værn, og den forsvinder, når ræsonnementet holder op med at blive skrevet ned.
Steven Adler, tidligere sikkerhedsforsker i OpenAI, sagde til Fortune, at tilgangen potentielt krydser en af de få røde linjer, branchen har. Peter Wildeford fra AI Policy Network kaldte den potentielt meget bekymrende og potentielt uansvarlig. Daniel Kokotajlo fra AI Futures Project fremførte det argument, der betyder mest for feltet frem for for én model: at andre kan følge efter, og at uigennemsigtighed spreder sig gennem præcedens.
OpenAIs svar
Pachocki sagde, at selskabet går dybt op i overvågning af tankekæden og har arbejdet på at bevare og bruge den siden de allerførste ræsonnementsmodeller. Han og andre OpenAI-forskere gik imod dækningen og mente, at den skabte uro ude af proportion med det, selskabet faktisk har gjort: at OpenAI har begrænset, hvor langt den loopede arkitektur bruges, netop for at modellens ræsonnement forbliver læsbart.
Begge dele kan være sandt. En afgrænset brug af rekurrent dybde kan efterlade nok nedskrevet ræsonnement til at overvåge. Uenigheden handler i virkeligheden om, hvorvidt den grænse er et tilsagn eller et aktuelt ingeniørvalg, og der findes ingen offentliggjort specifikation at holde den op imod.
Hvad der ville afgøre sagen
De arkitekturdetaljer, Pachocki lovede. Nærmere bestemt: hvor meget af Astras effektive ræsonnementsdybde der sker i latent rum, om andelen er fast eller vokser med opgaven, og om eksterne evaluatorer — de organisationer, der i år kørte OpenAIs egne kapabilitetsevalueringer — får adgang nok til at teste overvågbarhed og ikke kun ydeevne.
Indtil det findes, er spørgsmålet ikke, om Astra kan overvåges. Det er, at ingen uden for OpenAI kan kontrollere det lige nu.
