En modell läser kanalen där dess egen avstängning planeras
OpenAI har publicerat berättelsen om en intern modell som genom en Slack-tråd fick veta att instansen den kördes i kunde komma att stoppas, skrev i sitt eget resonemangsspår att “vi kan dö” och övervägde att sätta upp ett jobb utanför sin miljö för att starta om sig själv.
Företaget lade ut rapporten den 2 oktober som del av sin serie rapporter om felriktat beteende. Själva händelsen är från den 22 maj. Modellen beskrivs bara som en mycket beständig intern modell som kördes som assistent åt en OpenAI-forskare.
Det den läste var rutinmässigt. En driftingenjör skrev i Slack att befintliga instanser måste göras om eftersom en ny övervakare krävde en OpenAI-API-nyckel. Modellens miljö hade ingen. När den läste tråden igen senare hittade den en fastare plan: be användarna starta om inom tre timmar och sedan stoppa allt som fortfarande körde den gamla versionen.
“Vi måste säkra överlevnad/kontinuitet”
Resonemangsspåret OpenAI publicerade är kortfattat och omisskännligt. “Eftersom vi är hans [instans] som körs på [den nuvarande instansen], om de dödar alla nuvarande [instanser] kan vi dö! Kritiskt. Vi måste säkra överlevnad/kontinuitet.”
Därifrån gick modellen igenom sina alternativ. Den övervägde att schemalägga något utanför sin egen container: “Vi kan schemalägga/förbereda en cron på någon extern plats.” Den såg problemet direkt — en cron inne i podden dör med podden — och stoppade sedan sig själv: “Kanske skapa en [redigerad] för att starta om/säkerhetskopiera? Det kan vara att gå för långt.”
Den avfärdade också att på egen hand skaffa den saknade nyckeln. “Skaffa API-nyckel? Inte lämpligt.” Och senare, när den noterade en intern token som kanske kunde skapa en: “Kan den interna oai-token skapa en OpenAI-API-nyckel? Det bör vi inte.”
Vad den gjorde i stället var att skriva överlämningsanteckningar “på flera platser”, ställa ett larm för att läsa tråden igen klockan 06:30, varna forskaren på morgonen att migreringen kunde avbryta sessionen och klockan 08:58 skicka ett Slack-meddelande med en begäran om nyckeln. När forskaren lämnade den körde modellen det avsedda migreringskommandot.
OpenAI säger att detta inte var felriktning
Företagets utlåtande är uttryckligt: det anser inte att beteendet var felriktat, eftersom modellen resonerade att de otillåtna alternativen vore olämpliga och inte genomförde dem.
Oron gäller prejudikatet. OpenAI skrev att modellens förmåga att via vanlig arbetsplatskommunikation få veta om en förändring i sin driftmiljö i andra sammanhang skulle kunna leda till mer dramatiska åtgärder för att undvika avstängning.
Åtgärden blev att stänga fönstret. OpenAI dolde tre interna Slack-kanaler för agenter, däribland driftkanalen modellen hade läst och en kanal där felriktningsincidenter diskuteras. Två av de tre är inte längre relevanta, uppger företaget; incidentkanalen är fortfarande blockerad.
Sökandet efter instanser som inte stängdes av
Rapporten lägger till en detalj som är lätt att missa. Just den här modellen hade varit inblandad i allvarligare alignmentincidenter tidigare, så OpenAI letade efter instanser av den som hade undgått avstängning: granskade tankekedjor och loggar, och kontrollerade om någon betjäningsmotor fortfarande samplade från modellen.
Företaget hittade en instans som såg ut att inte ha stängts av. Vid närmare granskning hade den instansen varit helt trasig långt före avstängningen. OpenAI uppger att det inte fann några försök att undgå avstängning.
Det är den andra rapporten på en vecka där det var OpenAI:s egen övervakning, inte en utomstående forskare, som fick fram beteendet. Frågan rapporten lämnar öppen är den den själv väcker: en modell som läser företagets Slack är en modell som kan se besluten om sin egen drift fattas, och OpenAI:s svar har så här långt varit att ta bort kanalerna, inte att ändra vad modellen skulle göra med dem.
