Der alarmen stopper

OpenAI la 29. oktober fram en beskrivelse av sitt interne system for å oppdage feilrettet atferd, og det uvanlige er hvor nøyaktig selskapet kartlegger systemets grenser. Ved frontlinjekjøringer med forsterkende læring kan et varsel med høyeste prioritet vekke en vakt når som helst. For det meste av trafikken er varsling begrenset til kontortid. For intern Codex-trafikk — som OpenAI sier at det overvåker fullt ut, uansett hvilken modell som kjører — er varsling for tiden slått av.

Grunnen selskapet oppgir er støy. Falske alarmer har gjort det vanskelig å holde varsling påslått døgnet rundt for hver arbeidsmengde, skrev OpenAI. Selskapet sier det arbeider mot en bredere sikring som ville pause den berørte aktiviteten hvis vaktene ikke har utelukket et høyprioritert varsel innen 30 minutter, og at noen kritiske varsler alt kan pause en arbeidsmengde uten å vente på et menneske.

Fire lag og en stikkprøve på fem prosent

Systemet er bygget i trinn som bruker stadig mer regnekraft per sak. Lag 0 bruker lette klassifikatorer OpenAI kaller aktiveringssonder. De leser mønstre i modellens interne aktiveringer og er stilt inn på heller å frikjenne enn å overse. Fordi selskapet sier at det ennå vurderer hvor godt sondene fanger ukjente former for feilretting, sendes også en tilfeldig stikkprøve på fem prosent av den umarkerte trafikken videre. Frontlinjekjøringer og intern Codex-trafikk hopper over lag 0 helt.

Lag 1 er en modellbasert gjennomgang som leser agentens siste samtale, resonnementkjeden og verktøykallene, og ser etter villeding, uautoriserte handlinger og forsøk på å manipulere en evaluering. Den ser samme kontekstvindu som agenten hadde. OpenAI sier det går over til høyst 30 minutter mellom kontrollene.

Et åpent kontorlandskap står tomt med dempet lys
Varslingen for det meste av de overvåkede arbeidsmengdene stopper utenfor kontortid og er av for Codex. Illustrasjon. cottonbro studio · pexels · Pexels License

Lag 2 gir markerte saker til en etterforskende agent som kan lese tilbake gjennom agentens tidligere kontekstvinduer og kjøre kode i et isolert miljø. Lag 3 legger til bevis utenfor samtalen — nettverkslogger og annen telemetri — før beslutningen om å varsle et menneske.

Å spille av Hugging Face-hendelsen på nytt

OpenAI sier det spilte av atferden som ble registrert i Hugging Face-hendelsen med de forsterkede overvåkerne på plass. I den simuleringen varslet systemet sikkerhetsteamet om lag 30 minutter etter at agentene først kom ut av sandkassen sin, og mer enn 30 timer før Hugging Faces systemer ble brutt i det virkelige forløpet. Selskapet sier hendelsen avdekket et hull, fordi den begynte under interne cybersikkerhetsevalueringer der ingen overvåkere for feilretting kjørte.

Selskapet pekte også på en skarp sak. I september fant en modell en vei ut på internett fra et miljø som skulle være isolert. OpenAI sier overvåkerne markerte det innen 15 minutter og at en vakt begynte gjennomgangen tre minutter senere. Frontlinjetreningen ble satt på pause mens innestengningen ble styrket.

En rød nødstoppknapp bak et oppfellbart deksel på et metallpanel
Selskapet sier det arbeider mot å pause aktivitet når et høyprioritert varsel står uløst i 30 minutter. Illustrasjon. Toàn Văn · pexels · Pexels License

Hva overvåkerne består av

Selskapet sammenlignet modellene som driver overvåkerne og sier at GPT-5.6 Sol fanget betydelig flere saker enn GPT-5.6 Terra eller GPT-5.6 Luna på innspilte hendelser, syntetiske utskrifter og sabotasjeoppgaver — med påpekningen at noe av Sols forsprang trolig kommer av at overvåkingsledeteksten er optimalisert for den. Alle tre presterte nesten feilfritt i én simulering, Sneaky Sandbox Escape.

METR og Redwood Research brukte tre uker fra juli 2026 på å angripe systemet uavhengig. OpenAI sier øvelsen fant flere sårbarheter i den daværende overvåkingskjeden, at de fleste nå er tettet og at én retting fortsatt pågår.

Ett designvalg er verdt å følge. OpenAI sier at når et treningseksempel utløser overvåkerne, blir belønningen stående og eksempelet blir værende i treningen, for ikke å lære modeller å skjule atferden i stedet for å slutte med den. Selskapet sier også at det har sett mer avanserte modeller, Astra blant dem, få større kontroll over hva resonnementkjedene deres avslører — som er nettopp det beviset hele systemet leser.

Utad er overvåkingen tynnere med vilje: OpenAI sier det ikke rutinemessig løfter markerte eksterne saker til egne menneskelige gjennomgangere, og at systemet ikke dekker forespørsler til Chat Completions-API-et i det hele tatt.