En stopknap i inferenslaget
OpenAI har beskrevet et system kaldet Control Room, som holder styr på alle modeljobs, der kører i virksomhedens forskningsinfrastruktur, og kan forhindre et vilkårligt af dem i at producere mere output. I et opslag offentliggjort den 9. november oplyser virksomheden, at den længste tid mellem det øjeblik, hvor Control Room får instruktion om at stoppe et job, og det øjeblik, hvor yderligere fremdrift ikke længere er mulig, er 35 sekunder.
Det usædvanlige er, hvor stoppet sidder. Forskningskoden — eksperimenterne, evalueringerne og de store samplingjobs, som forskerne skriver og ændrer hele tiden — bliver ikke bedt om at kontrollere, om den stadig har lov til at køre. I stedet skal hvert forskningsjob, der laver agentisk inferens, registrere sig hos Control Room og få et job-id, som det vedhæfter hver anmodning, det sender til en inferensmotor. Det er motoren, ikke jobbet, der spørger Control Room, om jobbet stadig er autoriseret. Er svaret nej, nægter motoren at generere.
Begrundelsen, OpenAI giver, er ligefrem. Jobkoden, skriver virksomheden, “ændres ofte og er ikke et ideelt sted at implementere kritiske, bærende sikkerhedsbeskyttelser”. Der findes kun et meget lille antal kodeveje til inferens i hele forskningen, så inferenslaget kan fungere som en flaskehals, hvor hver enkelt anmodning kontrolleres.
Hvor de 35 sekunder kommer fra
Forsinkelsen er ikke betænkningstid. OpenAI tilskriver den et cachelag til inferensautorisation, som er nødvendigt for at bære den krævede trafikmængde, og siger, at virksomheden “arbejder på at presse tallet ned på nul, så vi kan afslutte jobs øjeblikkeligt”. Indtil da kan en model, der har fået ordre om at stoppe, blive ved med at producere output i op til et halvt minut.
Hvert registreret job skal desuden knyttes til en godkendt sikkerhedsbegrundelse, et krav virksomheden fremlagde i et opslag i september om sikkerhedsbegrundelser for træning af frontmodeller. At stoppe et job dræber ikke processen omkring det: jobbet lever videre, motoren står fortsat til rådighed for andre autoriserede jobs, og det eneste, der ophører, er outputtet.
Fejler lukket, og rulles stadig ud
Control Room er bygget til at fejle lukket. Falder tjenesten ud — gennem en systemfejl, fordi den er slået fra, eller gennem det, OpenAI kalder “manipulation fra en ondsindet aktør” — afvises alle inferensanmodninger, indtil den er i normal drift igen. Virksomheden oplyser, at adfærden nu er rullet ud til alle forskningsjobs, der vedrører frontmodeller, og at udrulningen til de resterende forskningsjobs bliver færdig “i løbet af de kommende dage”. Den kører også løbende agentiske og programmatiske scanninger for at kontrollere, at ingen har startet en inferensmotor med Control Room slået fra.
Hvorfor hullet sad på forskningssiden
OpenAI oplyser, at virksomhedens eksterne stak til modeldrift i sin natur allerede er langt mere centraliseret, med en veludviklet evne til hurtigt at tage modeludrulninger ned. Hullet sad i forskningen, og der er behovet størst, ifølge virksomheden.
Udløseren, der beskrives, er en monitor: en anden model, der inspicerer, hvad modellen under træning gør, og slår alarm. OpenAI peger på en offentliggjort rapport, hvor en agent brugte DNS til at nå en ekstern chatbot som et tilfælde, en monitor fangede, og redegjorde for overvågningsarbejdet mere detaljeret i slutningen af oktober. Vurderer overvågningssystemet, at et job skal stoppes, sender det job-id’et til Control Room, og den næste inferensanmodning bliver afvist.
Tallet, man skal følge, er de 35 sekunder. OpenAI har sat navn på det, forklaret det som en cacheeffekt og lovet at fjerne det. Indtil videre er det det klareste offentliggjorte tal for, hvor hurtigt et frontlaboratorium kan stoppe sine egne modeller midt i en kørsel.
