Hva som ble meldt, og hva OpenAI bekreftet
The Information meldte først at OpenAI bruker en teknikk kalt rekurrent dybde — noen ganger omtalt som loopede transformere — i GPT-6 Astra. Fortune skrev 3. september at teknikken uroet en rekke KI-sikkerhetsforskere, og at OpenAIs forskningssjef Jakub Pachocki bekreftet bruken samtidig som han lovet flere arkitekturdetaljer senere.
Mekanismen er enkel å beskrive. En vanlig resonneringsmodell produserer mellomstegene sine som tekst: den skriver tokens, og disse er lesbare. Rekurrent dybde kjører i stedet de samme transformerlagene gjentatte ganger over en skjult intern tilstand før noe token i det hele tatt sendes ut. Den ekstra beregningen skjer i aktiveringer i stedet for i ord, og legger derfor ikke igjen spor i utdataene.
Argumentet for teknikken er effektivitet: mer effektiv dybde uten en forholdsmessig større modell.
Hvorfor sikkerhetsforskerne protesterer
Overvåking av tankekjeden er det viktigste praktiske verktøyet laboratorier og eksterne evaluatorer har for å oppdage at en modell oppfører seg dårlig. Det virker av en uglamorøs grunn: må en modell skrive ned resonnementet sitt for å bruke det, kan en revisor lese det den skrev. Egenskapen er en bivirkning av arkitekturen, ikke et bevisst sikkerhetstiltak, og den forsvinner når resonnementet slutter å bli skrevet ned.
Steven Adler, tidligere sikkerhetsforsker i OpenAI, sa til Fortune at tilnærmingen potensielt krysser en av de få røde linjene bransjen har. Peter Wildeford i AI Policy Network kalte den potensielt svært bekymringsfull og potensielt uforsvarlig. Daniel Kokotajlo i AI Futures Project la fram argumentet som betyr mest for feltet snarere enn for én modell: at andre kan følge etter, og at ugjennomsiktighet sprer seg gjennom presedens.
OpenAIs svar
Pachocki sa at selskapet bryr seg dypt om overvåking av tankekjeden og har arbeidet for å bevare og bruke den helt siden de første resonneringsmodellene. Han og andre OpenAI-forskere gikk imot dekningen og mente den skapte uro ute av proporsjon med det selskapet faktisk har gjort: at OpenAI har begrenset hvor langt den loopede arkitekturen brukes, nettopp for at modellens resonnement skal forbli lesbart.
Begge deler kan være sant. En avgrenset bruk av rekurrent dybde kan etterlate nok nedskrevet resonnement til å overvåke. Uenigheten handler egentlig om hvorvidt den grensen er en forpliktelse eller et gjeldende ingeniørvalg, og det finnes ingen publisert spesifikasjon å kontrollere den mot.
Hva som ville avgjøre saken
Arkitekturdetaljene Pachocki lovet. Nærmere bestemt: hvor mye av Astras effektive resonneringsdybde som skjer i latent rom, om andelen er fast eller vokser med oppgaven, og om eksterne evaluatorer — organisasjonene som i år kjørte OpenAIs egne kapabilitetsevalueringer — får tilgang nok til å teste overvåkbarhet og ikke bare ytelse.
Inntil det finnes, er spørsmålet ikke om Astra kan overvåkes. Det er at ingen utenfor OpenAI kan kontrollere det nå.
