Vad som rapporterades och vad OpenAI bekräftade
The Information rapporterade först att OpenAI använder en teknik som kallas rekurrent djup — ibland beskriven som loopade transformatorer — i GPT-6 Astra. Fortune rapporterade den 3 september att tekniken oroade en rad AI-säkerhetsforskare, och att OpenAI:s forskningschef Jakub Pachocki bekräftade att den används samtidigt som han utlovade fler arkitekturdetaljer längre fram.
Mekanismen är enkel att beskriva. En vanlig resonemangsmodell producerar sina mellansteg som text: den skriver tokens, och de tokens går att läsa. Rekurrent djup låter i stället samma transformatorlager köras om och om igen över ett dolt internt tillstånd innan någon token alls avges. Den extra beräkningen sker i aktiveringar i stället för i ord, och lämnar därför inget spår i utdata.
Argumentet för tekniken är effektivitet: mer effektivt djup utan en proportionellt större modell.
Varför säkerhetsforskarna invänder
Övervakning av tankekedjan är det främsta praktiska verktyg labb och externa utvärderare har för att upptäcka att en modell missköter sig. Det fungerar av ett oglamoröst skäl: om en modell måste skriva ned sitt resonemang för att kunna använda det, kan en granskare läsa vad den skrev. Den egenskapen är en bieffekt av arkitekturen, inte ett medvetet skyddsräcke, och den försvinner när resonemanget slutar skrivas ned.
Steven Adler, tidigare säkerhetsforskare på OpenAI, sade till Fortune att metoden potentiellt passerar en av de få röda linjer branschen har. Peter Wildeford på AI Policy Network kallade den potentiellt mycket oroande och potentiellt vårdslös. Daniel Kokotajlo på AI Futures Project förde fram det argument som betyder mest för fältet snarare än för en enskild modell: att andra kan följa efter, och att ogenomskinlighet sprider sig genom prejudikat.
OpenAI:s svar
Pachocki sade att bolaget bryr sig djupt om övervakning av tankekedjan och har arbetat för att bevara och använda den ända sedan de första resonemangsmodellerna. Han och andra OpenAI-forskare invände mot rapporteringen och menade att den skapade oro i otillbörlig proportion till vad bolaget faktiskt gjort: att OpenAI begränsat hur långt den loopade arkitekturen används just för att modellens resonemang ska förbli läsbart.
Båda sakerna kan vara sanna. En avgränsad användning av rekurrent djup kan lämna tillräckligt nedskrivet resonemang för att övervaka. Oenigheten handlar egentligen om huruvida den gränsen är ett åtagande eller ett aktuellt ingenjörsval, och det finns ingen publicerad specifikation att stämma av mot.
Vad som skulle avgöra saken
De arkitekturdetaljer Pachocki utlovade. Närmare bestämt: hur stor del av Astras effektiva resonemangsdjup som sker i latent rymd, om andelen är fast eller växer med uppgiften, och om externa utvärderare — organisationerna som körde OpenAI:s egna förmågeutvärderingar i år — får åtkomst nog att pröva övervakbarhet och inte bara prestanda.
Tills det finns är frågan inte om Astra går att övervaka. Den är att ingen utanför OpenAI kan kontrollera det just nu.
