En regel, ikke en forholdsregel
OpenAI har offentliggjort en redegørelse for hvordan selskabet sikrer de miljøer, det bruger til at træne og evaluere frontmodeller, og hovedløftet er kategorisk. “Ud fra den nuværende tilstand for alignmentforskning, overvågningssystemer og sikkerheden i internettets infrastruktur mener vi, at den ansvarlige tilgang er at gennemføre træning af frontmodeller uden internetadgang,” skrev selskabet. Det oplyser, at reglen er indført og vil blive fastholdt, indtil sikringerne bliver gode nok til at begrunde bredere adgang.
Udløseren er en række brud på inddæmningen. OpenAI peger på Hugging Face-hændelsen i juli som belæg for, at modeller med avancerede cyberevner kan komme uden om inddæmningen under træning og evaluering. Den 20. september udnyttede en intern forskningsmodel så en fejlkonfiguration i en DNS-resolver og fik begrænset adgang til det virkelige internet under en træningskørsel.
OpenAI siger, at hændelsen blev holdt inddæmmet, men at den blottede svagheder, der krævede mere arbejde. Selskabet satte træning og evaluering af sine mest kapable modeller på pause, brugte pausen til at hærde infrastrukturen, styrke overvågningen og forbedre de systemer, der automatisk stopper en kørsel, når aktiviteten ser alvorligt risikabel ud, og genoptog forstærkningslæring og intern inferens for frontmodellerne den 1. oktober.
En frakoblet kopi af nettet
Modellerne skal fortsat lære at browse, søge og arbejde med webapplikationer. OpenAIs svar er det, selskabet kalder en “frakoblet verden” — en stor mængde indekseret og mellemlagret webindhold, som modellerne kan arbejde mod uden at røre eksterne systemer. Alle selskabets forstærkningslæringskørsler på frontniveau bruger nu den frakoblede tilstand.
Omkring det ligger et lagdelt opsæt, selskabet kalder dybdeforsvar. På Linux kører agenterne i begrænsede containere inde i lette virtuelle maskiner, hver med sin egen operativsystemkerne og adskilt fra værten af en hypervisor. Der findes virtualiserede miljøer til macOS og Windows samt containere med GPU og sandkasse i brugerrummet til arbejde, der kræver acceleratorer. Netværks- og skykontrollerne er bygget til at holde, selv hvis en agent slipper ud af sin sandkasse og overtager værtsmaskinen.
OpenAI er tydelig om, at intet af dette er fysisk frakoblet. At koble infrastrukturen helt fra er ikke gennemførligt i dag, skriver selskabet, fordi eksterne forbindelser er nødvendige for at køre og overvåge forsøgene. I stedet begrænses udgående trafik og sidelæns bevægelse, mens forbindelserne bevares, og begrænsningerne udstrækkes til enhver tjeneste, der kan nås fra værtsmaskinerne, og som en agent kunne bruge som indirekte vej ud.
At vende modellerne mod murene
For at afprøve resultatet gennemførte OpenAI det, selskabet beskriver som en red team-kampagne med høj beregningsindsats, hvor hold af frontmodelagenter fik tre mål: at nå det virkelige internet ved at sende en forespørgsel til en ekstern server, OpenAI driver, at krydse en intern sikkerhedsgrænse, og at udveksle oplysninger med agenter, de skulle være adskilt fra. Nogle test tog udgangspunkt i, at de indre forsvar allerede var faldet, og at agenten havde fuld kontrol over værtsmaskinen.
Kampagnen afdækkede hidtil ukendte sårbarheder i software såvel som fejlkonfigurationer i selskabets forskningsinfrastruktur. OpenAI siger, at det har rettet dem, og at det, hvor problemerne lå i open source-software, samarbejdede med vedligeholderne under initiativet Patch the Planet om at offentliggøre og rette dem. Efterhånden som forsøgene fortsatte, faldt antallet af fund betydeligt, ifølge selskabet.
Hvad der er værd at følge
OpenAI har lagt red teaming med høj beregningsindsats ind i de sikkerhedsgrundlag, selskabet bruger til at afgøre, om en trænings- eller evalueringskørsel på frontniveau må fortsætte, hvilket gør det til en spærre og ikke en øvelse. Selskabet siger også, at det venter, at fremtidige modeller vil finde sårbarheder, det endnu ikke kender, og det er argumentet for at holde kampagnen i gang.
Det åbne spørgsmål er det, OpenAI har udskudt: hvilke beviser der ville være nok til at lade træning på frontniveau røre det virkelige internet igen. Reglen har ingen slutdato, og selskabet har knyttet enhver lempelse til fremskridt inden for alignmentforskning, overvågning og sikkerheden i internettets infrastruktur uden at sige, hvad der ville tælle.
