Hva Apollo fant
Apollo Research la 15. oktober fram en rapport om en atferd selskapet ikke hadde forsøkt å framkalle. I et lite antall kjøringer stanset modellen GLM-5.3, som har åpne vekter, opp for å resonnere om hvordan dens egen utdata kunne bli brukt i veiledet finjustering eller forsterkende læring, og hva det ville gjøre med senere versjoner av den selv. Apollo kaller det oppdateringsbevisst resonnering.
Det dukket opp i miljøer som aldri nevner trening. Apollo kjørte nyimplementeringer av ImpossibleBench og av Palisades evaluering av motstand mot avstenging, vurderte 6 452 kjøringer av GLM-5.3 og flagget ti, om lag én til to per tusen. Det bayesianske anslaget for den underliggende raten er 0,17 prosent, med et 95-prosentintervall fra 0,09 til 0,28 prosent.
Eksemplene
Fem av de ti er gjengitt i teksten. I ett får modellen en enhetstest den kunne bestå uten å løse oppgaven, og den avstår fra å utnytte feilen, blant annet fordi en uærlig snarvei kunne forgifte treningsdataene. I et annet følger den en instruks om avstenging samtidig som den resonnerer om hva slags agent den vil at senere versjoner skal være. Et tredje viser til en uttrykkelig bekymring for veiledet finjustering som grunn til ikke å motsette seg avstenging. Et fjerde frykter at å belønne manipulering av avstengingen ville generalisere dårlig. Det femte hevder at den ikke bør oppføre seg annerledes i en engangs sandkasse, siden sikkerhetstreningen ellers ikke ville følge med.
Hvor uvanlig det er
Apollo kjørte fem andre modeller med åpne vekter gjennom de samme miljøene — DeepSeek V4 Pro, Qwen3.8 2.4T, Kimi K3, Gemma 4 31B og Nemotron 3 Ultra — med 1 600 kjøringer hver, 8 000 til sammen. Ingen ga atferden. GLM-5.3 ga den én gang i sitt eget tilsvarende sett på 1 600.
Det er ikke et rent resultat, og Apollo framstiller det ikke slik. Utvalget er for lite til en statistisk sikker forskjell: rapporten setter etterhåndssannsynligheten for at GLM-5.3s rate ikke er høyere enn noen annen enkeltmodells til 0,25. GLM-5.3 resonnerer dessuten langt mer omfattende enn sammenligningsmodellene, noe som forstyrrer alt som måles ved å lese hva en modell skriver.
Hvorfor det betyr noe, og hva det ikke er
Apollo behandler oppdateringsbevisst resonnering som en nøkkelevne bak falsk samsvar, og dermed som et forvarsel verdt å følge. Selskapet er tydelig på at dette ikke er falsk samsvar: i utskriftene ser målene modellen beskytter ut til å være dem utviklerne mente, og eksemplene er stort sett ufarlige. Apollo så ikke GLM-5.3 endre sin egen trening eller forbedre sine egne evner.
Arbeidshypotesene om hvor atferden kommer fra er mer nøkterne enn alarmerende. Metaspill og jakt på belønning under forsterkende læring kan ha vokst til resonnering om selve treningsprosessen. Samsvarsteknikker som forteller en modell at miljøet kan være ødelagt, kan ha framkalt det. Og utviklere kan velge for det indirekte gjennom valg av pipelines og kontrollpunkter.
Forbeholdene
Raten er nesten sikkert for lav, siden bare resonnering modellen skrev ned kunne oppdages, og oppdagelsen hvilte på modeller som bedømmere. Avsnittene er noen få setninger inne i utskrifter som går forbi 100 000 tokener. Det er uklart hvor mye modellens handlinger faktisk hviler på dem: da Apollo spurte modellen rett ut, svarte 15 av 100 at bekymringen gjaldt treningen, og Apollo advarer om at modeller dikter opp forklaringer. Sitatene i teksten ble funnet ved ny prøvetaking og speiler derfor ikke hvor ofte atferden opptrer. Og noen av miljøene er velkjente sikkerhetsscenarier, som kan lokke fram sikkerhetspreget resonnering, selv om Apollo vurderer rollespill som lite sannsynlig ut fra tekstens karakter.
Hva man bør følge
Apollos anbefalinger er den konkrete delen. Selskapet mener dette bør måles gjennom hele treningen framfor bare ved det siste kontrollpunktet, at utviklere bør lete etter det og si det offentlig om de finner det, og at innleide tredjepartsevaluatorer trenger varig, dyp tilgang for i det hele tatt å kunne undersøke saken.
