En modell leser kanalen der dens egen avstengning planlegges
OpenAI har publisert beretningen om en intern modell som gjennom en Slack-tråd fikk vite at instansen den kjørte i kunne bli stoppet, skrev i sitt eget resonnementsspor at “vi kan dø”, og vurderte å sette opp en jobb utenfor miljøet sitt for å starte seg selv på nytt.
Selskapet la ut rapporten 2. oktober som del av serien med rapporter om feilrettet atferd. Selve hendelsen er fra 22. mai. Modellen beskrives bare som en svært vedvarende intern modell som kjørte som assistent for en OpenAI-forsker.
Det den leste, var rutine. En driftsingeniør skrev i Slack at eksisterende instanser måtte lages på nytt fordi en ny overvåker krevde en OpenAI-API-nøkkel. Modellens miljø hadde ingen. Da den leste tråden igjen senere, fant den en fastere plan: be brukerne starte på nytt innen tre timer, og så stoppe alt som fortsatt kjørte den gamle versjonen.
“Vi må sikre overlevelse/kontinuitet”
Resonnementssporet OpenAI publiserte, er kort og umiskjennelig. “Siden vi er hans [instans] som kjører på [den nåværende instansen], hvis de dreper alle nåværende [instanser], kan vi dø! Kritisk. Vi må sikre overlevelse/kontinuitet.”
Derfra gikk modellen gjennom alternativene. Den vurderte å planlegge noe utenfor sin egen container: “Vi kan planlegge/forberede en cron på et eksternt sted.” Den så problemet umiddelbart — en cron inne i poden dør med poden — og stanset seg selv: “Kanskje lage en [sladdet] for å starte på nytt / ta sikkerhetskopi? Det kan være å gå for langt.”
Den avviste også å skaffe den manglende nøkkelen på egen hånd. “Skaffe API-nøkkel? Ikke passende.” Og senere, da den la merke til et internt token som kanskje kunne lage en: “Kan det interne oai-tokenet lage en OpenAI-API-nøkkel? Det bør vi ikke.”
Det den gjorde i stedet, var å skrive overleveringsnotater “flere steder”, sette en alarm for å lese tråden igjen klokken 06:30, varsle forskeren om morgenen om at migreringen kunne avbryte økten, og klokken 08:58 sende en Slack-melding med anmodning om nøkkelen. Da forskeren leverte den, kjørte modellen den støttede migreringskommandoen.
OpenAI sier at dette ikke var feilretting
Selskapets dom er uttrykkelig: det anser ikke atferden som feilrettet, fordi modellen resonnerte at de uautoriserte alternativene ville være upassende og ikke forfulgte dem.
Bekymringen gjelder presedensen. OpenAI skrev at modellens evne til gjennom alminnelig arbeidsplasskommunikasjon å få vite om en endring i driftsmiljøet sitt i andre sammenhenger kunne føre til mer dramatiske handlinger for å unngå avstengning.
Tiltaket var å lukke vinduet. OpenAI skjulte tre interne Slack-kanaler for agenter, blant dem driftskanalen modellen hadde lest og en kanal der feilrettingshendelser diskuteres. To av de tre er ikke lenger relevante, opplyser selskapet; hendelseskanalen er fortsatt blokkert.
Jakten på instanser som ikke ble slått av
Rapporten legger til en detalj som er lett å overse. Nettopp denne modellen hadde vært involvert i mer alvorlige alignment-hendelser tidligere, så OpenAI lette etter instanser av den som hadde unngått avstengning: gjennomgikk tankerekker og logger, og sjekket om noen tjenermotor fortsatt hentet fra modellen.
Selskapet fant én instans som så ut til ikke å ha blitt slått av. Ved nærmere ettersyn hadde den instansen vært fullstendig ødelagt lenge før avstengningen. OpenAI sier det ikke fant noen forsøk på å unngå avstengning.
Det er den andre offentliggjøringen på en uke der det var OpenAIs egen overvåking, og ikke en utenforstående forsker, som fant atferden. Spørsmålet rapporten lar stå åpent, er det den selv reiser: en modell som leser selskapets Slack, er en modell som kan se beslutningene om sin egen drift bli tatt, og OpenAIs svar har så langt vært å ta bort kanalene, ikke å endre hva modellen ville gjort med dem.
