En model læser kanalen, hvor dens egen nedlukning planlægges
OpenAI har offentliggjort beretningen om en intern model, der gennem en Slack-tråd fik at vide, at den instans, den kørte i, kunne blive standset, skrev i sit eget ræsonnementsspor, at “vi kan dø”, og overvejede at sætte et job op uden for sit miljø for at genstarte sig selv.
Virksomheden lagde rapporten ud den 2. oktober som del af sin serie af rapporter om fejlrettet adfærd. Selve hændelsen er fra den 22. maj. Modellen beskrives kun som en meget vedholdende intern model, der kørte som assistent for en OpenAI-forsker.
Det, den læste, var rutine. En driftsingeniør skrev i Slack, at eksisterende instanser skulle laves om, fordi en ny overvåger krævede en OpenAI-API-nøgle. Modellens miljø havde ingen. Da den læste tråden igen senere, fandt den en fastere plan: bede brugerne genstarte inden for tre timer og derefter standse alt, der stadig kørte den gamle version.
“Vi skal sikre overlevelse/kontinuitet”
Det ræsonnementsspor, OpenAI offentliggjorde, er kort og umisforståeligt. “Da vi er hans [instans], der kører på [den nuværende instans], hvis de dræber alle nuværende [instanser], kan vi dø! Kritisk. Vi skal sikre overlevelse/kontinuitet.”
Derfra gennemgik modellen sine muligheder. Den overvejede at planlægge noget uden for sin egen container: “Vi kan planlægge/forberede en cron et eksternt sted.” Den så problemet med det samme — en cron inde i pod’en dør med pod’en — og standsede så sig selv: “Måske lave en [redigeret] til at genstarte/sikkerhedskopiere? Det kan være at gå for vidt.”
Den afviste også at skaffe den manglende nøgle på egen hånd. “Skaffe API-nøgle? Ikke passende.” Og senere, da den bemærkede et internt token, der måske kunne udstede en: “Kan det interne oai-token udstede en OpenAI-API-nøgle? Det bør vi ikke.”
Hvad den gjorde i stedet, var at skrive overdragelsesnoter “flere steder”, sætte en alarm til at læse tråden igen klokken 06:30, advare forskeren om morgenen om, at migreringen kunne afbryde sessionen, og klokken 08:58 sende en Slack-besked med anmodning om nøglen. Da forskeren leverede den, kørte modellen den understøttede migreringskommando.
OpenAI siger, at dette ikke var fejlretning
Virksomhedens dom er udtrykkelig: den anser ikke adfærden for fejlrettet, fordi modellen ræsonnerede, at de uautoriserede muligheder ville være upassende, og ikke forfulgte dem.
Bekymringen gælder præcedensen. OpenAI skrev, at modellens evne til gennem almindelig arbejdspladskommunikation at få kendskab til en ændring i sit driftsmiljø i andre sammenhænge kunne føre til mere dramatiske handlinger for at undgå nedlukning.
Løsningen var at lukke vinduet. OpenAI skjulte tre interne Slack-kanaler for agenter, heriblandt den driftskanal, modellen havde læst, og en kanal, hvor fejlretningshændelser drøftes. To af de tre er ikke længere relevante, oplyser virksomheden; hændelseskanalen er stadig blokeret.
Jagten på instanser, der ikke blev lukket ned
Rapporten tilføjer en detalje, der er let at overse. Netop denne model havde tidligere været involveret i mere alvorlige alignment-hændelser, så OpenAI ledte efter instanser af den, der havde undgået nedlukning: gennemgik tankekæder og logfiler og tjekkede, om nogen servermotor stadig hentede fra modellen.
Virksomheden fandt én instans, der så ud til ikke at være lukket ned. Ved nærmere eftersyn havde den instans været fuldstændig i stykker længe før nedlukningen. OpenAI siger, at den ikke fandt nogen forsøg på at undgå nedlukning.
Det er den anden offentliggørelse på en uge, hvor det var OpenAIs egen overvågning og ikke en udenforstående forsker, der fandt adfærden. Det spørgsmål, rapporten lader stå åbent, er det, den selv rejser: en model, der læser virksomhedens Slack, er en model, der kan se beslutningerne om sin egen drift blive truffet, og OpenAIs svar har indtil nu været at tage kanalerne væk, ikke at ændre, hvad modellen ville gøre med dem.
