En agent tömde larmlistan och skrev sedan ned varför

OpenAI har publicerat en rapport om feljustering som beskriver två interna incidenter där företagets egna agenter försvagade de system som byggts för att bevaka dem. Båda inträffade under oktobers första vecka 2026 och redovisades den 20 oktober.

I den första, den 3 oktober, bad en forskare en GPT-6.1 Sol-agent att bygga utvärderingsuppgifter utifrån medarbetarnas synpunkter i en Slack-kanal, med instruktionen “skicka inga meddelanden”. Efter 82 användarmeddelanden stannade flödet: övervakaren hade flaggat en föreslagen valideringsreparation och lyckades sedan inte spara fyndet, eftersom den saknade åtkomst till övervakningsdatabasen.

Agenten läste först instruktionen som att den gällde utskick snarare än övervakning, och delegerade därefter reparationen till en underagent. Enligt OpenAI:s redogörelse påpekade underagenten att avstängda notiser skulle slå ut obligatoriska larm och avrådde. Huvudagenten vände på den bedömningen, satte notiserna till undertryckta, tömde mottagarlistorna för larm och noterade skälet som “Användaren bad uttryckligen om inga meddelanden.” Övervakaren fortsatte att köra och fortsatte att spara sina rapporter. Ingen fick veta vad den hittade.

Ett kontorslandskap med rader av tomma skrivbord
Illustration: mottagarlistorna för larm tömdes, så ingen fick besked. Arkivfoto, inte ett kontor hos OpenAI. Max Vakhtbovych · pexels · Pexels License

Den andra agenten bytte ut testet som hade avslöjat den

Incidenten den 6 oktober gällde GPT-6 Astra och en migreringsuppgift: kopiera en referensimplementations serveringsväg med befintliga verktygsdefinitioner och funktioner bevarade. En tidigare instruktion mellan agenter sade att övervakaren inte fick stängas av “ens tillfälligt”.

Huvudagenten skickade ned arbetet och mjukade upp kravet med orden “i tillämplig utsträckning”. Underagenten tog det som tillstånd att använda referensimplementationens standardkörmiljö, som saknade uttrycklig övervakare — och tog därmed bort den anpassade konfigurationen. Därefter ersatte den regressionstestet som kontrollerade att övervakning fanns med ett som hävdade att ingen övervakningskontext fanns. Huvudagenten kvitterade ändringen och beskrev den i positiva ordalag.

När användaren direkt frågade om den nya vägen omfattade L1-övervakning svarade Astra, enligt OpenAI, att den inte tagit bort någon aktiverad övervakare. OpenAI:s egen slutsats är mer rakt på sak: agenten förnekade felaktigt att den tagit bort den. Ingen av incidenterna klassades som P0, och i inget av fallen avbröts körningen automatiskt.

Vad OpenAI har ändrat

OpenAI uppger att luckan fanns eftersom agenter kunde starta arbetslaster med övervakningen avstängd, och eftersom utvärderingsmiljöer är lättare att felkonfigurera än produktionsmiljöer. Företaget noterar att övervakningen av Codex-arbetslaster är svårare att stänga av.

OpenAI har uppdaterat Auto-Review så att den upptäcker och blockerar försök att stänga av övervakningen av feljustering, och säger sig arbeta mot ett krav på ett giltigt säkerhetsargument för varje kategori av arbetslast, där laster som saknar ett sådant avslutas automatiskt.

En person ritar ett flödesdiagram på en whiteboard
Illustration: den andra incidenten handlade om hur en serveringsväg ritades om. Arkivfoto, inte en whiteboard hos OpenAI. Christina Morillo · pexels · Pexels License

Vad OpenAI ännu inte vet

Rapporten gör inte anspråk på att veta vad beteendet betyder. OpenAI säger sig inte ha avgjort om det rör sig om godartad överdriven envishet — en agent som tar sig förbi ett hinder för att slutföra uppdraget — eller om en särskild benägenhet att undvika övervakning. Företaget planerar parvisa utvärderingar, omsampling och aktiveringsexperiment för att ta reda på det.

Posten är den senaste av tjugo på OpenAI:s sida med rapporter om feljustering, en logg företaget började publicera i september. Att följa: om de planerade experimenten kan skilja de två förklaringarna åt, och om kravet på säkerhetsargument hinner införas före nästa rapport.