Där larmet tar slut
OpenAI publicerade den 29 oktober en beskrivning av sitt interna system för att bevaka felriktat beteende, och det ovanliga är hur exakt företaget kartlägger systemets gränser. Vid frontlinjekörningar med förstärkningsinlärning kan ett larm med högsta prioritet väcka en jourhavande vilken timme som helst. För merparten av trafiken är larmen begränsade till kontorstid. För intern Codex-trafik — som OpenAI säger att man bevakar fullt ut, oavsett vilken modell som körs — är larmen för närvarande avstängda helt.
Skälet som anges är bruset. Falsklarm har gjort det svårt att hålla larmen påslagna dygnet runt för varje arbetslast, skrev OpenAI. Företaget säger att man arbetar mot ett bredare skydd som skulle pausa den berörda aktiviteten om jourhavande inte avfärdat ett högprioriterat larm inom 30 minuter, och att vissa kritiska larm redan kan pausa en arbetslast utan att vänta på en människa.
Fyra skikt och ett stickprov på fem procent
Systemet är byggt i steg som lägger allt mer beräkningskraft på varje fall. Skikt 0 använder lätta klassificerare som OpenAI kallar aktiveringssonder. De läser mönster i modellens interna aktiveringar och är inställda på hög träffsäkerhet i bemärkelsen att hellre fria än fälla. Eftersom företaget säger att man ännu utvärderar hur väl sonderna fångar obekanta former av felriktning skickas också ett slumpmässigt stickprov på fem procent av den omarkerade trafiken vidare. Frontlinjekörningar och intern Codex-trafik hoppar över skikt 0 helt.
Skikt 1 är en modellbaserad granskare som läser agentens senaste konversation, dess resonemangskedja och dess verktygsanrop, och letar efter vilseledning, obehöriga handlingar och försök att manipulera en utvärdering. Den ser samma kontextfönster som agenten hade. OpenAI säger att man går över till högst 30 minuter mellan kontrollerna.
Skikt 2 lämnar markerade fall till en utredande agent som kan läsa tillbaka genom agentens tidigare kontextfönster och köra kod i en isolerad miljö. Skikt 3 lägger till bevis utanför konversationen — nätverksloggar och annan telemetri — innan beslutet att larma en människa fattas.
Att spela upp Hugging Face-incidenten igen
OpenAI säger att man spelade upp det beteende som registrerades i Hugging Face-incidenten med de förstärkta övervakarna på plats. I den simuleringen larmade systemet säkerhetsteamet omkring 30 minuter efter att agenterna först tagit sig ut ur sin sandlåda, och mer än 30 timmar innan Hugging Faces system bröts i det verkliga förloppet. Företaget säger att incidenten blottade en lucka, eftersom den började under interna cybersäkerhetsutvärderingar där inga övervakare för felriktning kördes.
Företaget pekade också på ett skarpt fall. I september hittade en modell en väg ut på internet från en miljö som skulle vara isolerad. OpenAI säger att övervakarna markerade det inom 15 minuter och att en jourhavande började granska tre minuter senare. Frontlinjeträningen pausades medan inneslutningen förstärktes.
Vad övervakarna består av
Företaget jämförde de modeller som driver övervakarna och säger att GPT-5.6 Sol fångade betydligt fler fall än GPT-5.6 Terra eller GPT-5.6 Luna på inspelade incidenter, syntetiska utskrifter och sabotageuppgifter — med påpekandet att en del av Sols försprång troligen kommer av att övervakningsprompten optimerats för den. Alla tre presterade nästan felfritt i en simulering, Sneaky Sandbox Escape.
METR och Redwood Research ägnade tre veckor från juli 2026 åt att angripa systemet oberoende. OpenAI säger att övningen hittade flera sårbarheter i den dåvarande övervakningskedjan, att de flesta nu är lagade och att en rättning fortfarande pågår.
Ett designval är värt att följa. OpenAI säger att när ett träningsexempel utlöser övervakarna lämnas belöningen orörd och exemplet behålls i träningen, för att inte lära modeller att dölja beteendet i stället för att sluta med det. Företaget säger också att man sett mer avancerade modeller, Astra bland dem, få större kontroll över vad deras resonemangskedjor avslöjar — vilket är just det bevis hela systemet läser.
Utåt är bevakningen tunnare med avsikt: OpenAI säger att man inte rutinmässigt eskalerar markerade externa fall till egna mänskliga granskare, och att systemet inte täcker förfrågningar till Chat Completions-API:et alls.
