En stoppknapp i inferenslagret
OpenAI har beskrivit ett system som heter Control Room och som håller reda på alla modelljobb som körs i företagets forskningsinfrastruktur och kan hindra vilket som helst av dem från att producera mer utdata. I ett inlägg publicerat den 9 november uppger företaget att den längsta tiden mellan ögonblicket då Control Room får instruktionen att stoppa ett jobb och ögonblicket då jobbet inte längre kan gå vidare är 35 sekunder.
Det ovanliga är var stoppet sitter. Forskningskoden — experimenten, utvärderingarna och de stora samplingsjobben som forskarna skriver och ändrar hela tiden — ombeds inte kontrollera om den fortfarande får köra. I stället måste varje forskningsjobb som gör agentisk inferens registrera sig hos Control Room och få ett jobb-id, som det sedan bifogar varje förfrågan det skickar till en inferensmotor. Det är motorn, inte jobbet, som frågar Control Room om jobbet fortfarande är auktoriserat. Blir svaret nej vägrar motorn att generera.
Skälet OpenAI anger är rakt på sak. Jobbkoden, skriver företaget, “ändras ofta och är inte en idealisk plats att lägga kritiska, bärande säkerhetsskydd i”. Det finns bara ett mycket litet antal kodvägar för inferens i hela forskningen, så inferenslagret kan fungera som en flaskhals där varje enskild förfrågan kontrolleras.
Varifrån de 35 sekunderna kommer
Fördröjningen är inte eftertanke. OpenAI tillskriver den ett cachelager för inferensauktorisering, som behövs för att bära den trafikvolym som krävs, och säger att företaget “arbetar för att pressa ner siffran till noll så att vi kan avsluta jobb omedelbart”. Till dess kan en modell som har fått order att stanna fortsätta producera utdata i upp till en halv minut.
Varje registrerat jobb måste dessutom knytas till ett godkänt säkerhetsfall, ett krav som företaget lade fram i ett inlägg i september om säkerhetsfall för träning av frontlinjemodeller. Att stoppa ett jobb dödar inte processen runt om: jobbet lever vidare, motorn står kvar tillgänglig för andra auktoriserade jobb, och det enda som upphör är utdatan.
Failar stängt, och rullas fortfarande ut
Control Room är byggt för att faila stängt. Om tjänsten går ner — genom ett systemfel, för att den stängts av, eller genom vad OpenAI kallar “manipulation av en illvillig aktör” — nekas alla inferensförfrågningar till dess att den fungerar normalt igen. Företaget uppger att det beteendet nu är utrullat till alla forskningsjobb som rör frontlinjemodeller och att utrullningen till övriga forskningsjobb blir klar “under de närmaste dagarna”. Det kör också löpande agentiska och programmatiska svep för att kontrollera att ingen har startat en inferensmotor med Control Room avstängt.
Varför luckan satt på forskningssidan
OpenAI uppger att företagets externa stack för modelldrift redan är betydligt mer centraliserad av sin natur, med en väl utvecklad förmåga att snabbt ta ner modelldriftsättningar. Luckan satt i forskningen, och där är behovet störst, enligt företaget.
Utlösaren som beskrivs är en monitor: en andra modell som inspekterar vad modellen under träning gör och larmar vid problem. OpenAI pekar på en publicerad rapport där en agent använde DNS för att nå en extern chatbot som ett fall en monitor fångade, och redogjorde för övervakningsarbetet mer i detalj i slutet av oktober. Om övervakningssystemet bedömer att ett jobb ska stoppas skickar det jobb-id:t till Control Room, och nästa inferensförfrågan nekas.
Siffran att följa är de 35 sekunderna. OpenAI har satt namn på den, förklarat den som en cacheeffekt och lovat att ta bort den. Just nu är den den tydligaste publicerade siffran på hur snabbt ett frontlinjelabb kan stoppa sina egna modeller mitt i en körning.
