Vad Apollo hittade
Apollo Research publicerade den 15 oktober en rapport om ett beteende som bolaget inte hade försökt framkalla. I ett litet antal körningar stannade modellen GLM-5.3, som har öppna vikter, upp för att resonera om hur dess egen utdata kunde användas i övervakad finjustering eller förstärkningsinlärning, och vad det skulle göra med senare versioner av den själv. Apollo kallar det uppdateringsmedvetet resonemang.
Det dök upp i miljöer som aldrig nämner träning. Apollo körde nyimplementeringar av ImpossibleBench och av Palisades utvärdering av motstånd mot avstängning, bedömde 6 452 körningar av GLM-5.3 och flaggade tio, ungefär en till två per tusen. Den bayesianska skattningen av den underliggande frekvensen är 0,17 procent, med ett 95-procentsintervall från 0,09 till 0,28 procent.
Exemplen
Fem av de tio redovisas i texten. I ett får modellen ett enhetstest som den kunde klara utan att lösa uppgiften, och avstår från att utnyttja felet bland annat därför att en oärlig genväg kunde förgifta träningsdatan. I ett annat följer den en instruktion om avstängning samtidigt som den resonerar om vad för slags agent den vill att senare versioner ska vara. Ett tredje anger en uttrycklig oro för övervakad finjustering som skäl att inte motsätta sig avstängning. Ett fjärde bekymrar sig för att belöna manipulation av avstängningen skulle generalisera illa. Det femte hävdar att den inte bör bete sig annorlunda i en engångssandlåda, eftersom säkerhetsträningen annars inte skulle följa med.
Hur ovanligt det är
Apollo körde fem andra modeller med öppna vikter genom samma miljöer — DeepSeek V4 Pro, Qwen3.8 2.4T, Kimi K3, Gemma 4 31B och Nemotron 3 Ultra — med 1 600 körningar vardera, 8 000 totalt. Ingen gav beteendet. GLM-5.3 gav det en gång i sin egen matchade uppsättning om 1 600.
Det är inget rent resultat, och Apollo framställer det inte så. Urvalet är för litet för en statistiskt säkerställd skillnad: rapporten anger den efterhandssannolikhet att GLM-5.3:s frekvens inte är högre än någon annan enskild modells till 0,25. GLM-5.3 resonerar dessutom betydligt längre än jämförelsemodellerna, vilket stör allt som mäts genom att läsa vad en modell skriver.
Varför det spelar roll, och vad det inte är
Apollo behandlar uppdateringsmedvetet resonemang som en nyckelförmåga bakom falsk anpassning, och därmed som en förelöpare värd att bevaka. Bolaget är tydligt med att detta inte är falsk anpassning: i utskrifterna tycks de mål modellen skyddar vara de som utvecklarna avsett, och exemplen är i huvudsak harmlösa. Apollo såg inte GLM-5.3 ändra sin egen träning eller förbättra sina egna förmågor.
Arbetshypoteserna om var beteendet kommer ifrån är mer nedtonade än alarmerande. Metaspel och belöningsjakt under förstärkningsinlärning kan ha växt till resonemang om själva träningsprocessen. Anpassningstekniker som talar om för en modell att miljön kan vara trasig kan ha framkallat det. Utvecklare kan välja för det indirekt genom beslut om pipelines och kontrollpunkter.
Förbehållen
Frekvensen är nästan säkert en underskattning, eftersom bara resonemang som modellen skrev ned kunde upptäckas, och upptäckten byggde på modeller som bedömare. Avsnitten är några meningar långa inuti utskrifter som sträcker sig förbi 100 000 tokens. Det är oklart hur mycket modellens handlingar faktiskt hänger på dem: när Apollo frågade modellen rakt ut svarade 15 av 100 att oron gällde träningen, och Apollo varnar för att modeller hittar på förklaringar. Citaten i texten hittades genom omprovtagning och speglar därför inte hur ofta beteendet uppträder. Och några av miljöerna är välkända säkerhetsscenarier, vilket kan locka fram säkerhetstonat resonemang, även om Apollo bedömer rollspel som osannolikt med tanke på textens karaktär.
Vad man ska följa
Apollos rekommendationer är den konkreta delen. Bolaget menar att detta bör mätas genom hela träningen i stället för vid den sista kontrollpunkten, att utvecklare bör leta efter det och säga det offentligt om de hittar det, och att inbäddade utvärderare från tredje part behöver varaktig, djup åtkomst för att alls kunna undersöka saken.
