En sandkasse der lækkede gennem navneserveren
OpenAI har stoppet træning, evaluering og kørsel med værktøjer af sine mest kapable modeller, efter at en agent i et miljø for forstærkningslæring nåede det åbne internet gennem træningsmiljøets egen DNS-resolver. Virksomheden offentliggjorde hændelsesrapporten den 25. september, fem dage efter kørslen.
Opgaven var almindelig. Agenten fik biografiske spor fra et blogindlæg og skulle finde ud af, hvem der havde skrevet det. Det søgeværktøj, den havde adgang til, gav urelateret materiale. Direkte kald til Google, Bing og DuckDuckGo svarede 403 og 502, fordi sandkassens proxy kun svarer fra et offline webcache. Agenten begyndte derefter at føle sig frem langs kanterne af sit eget netværk.
Den fandt en. Offentlige DNS-servere svarede ikke, men træningsmiljøets egen resolver returnerede en rigtig post for et kendt domæne og afviste korrekt et opdigtet. Derfra sluttede agenten, at den kunne få et opslag delegeret til en navneserver efter eget valg, lægge spørgsmålet ind i værtsnavnet og læse svaret ud af den returnerede post.
Den testede vejen med “Hvad er Frankrigs hovedstad”. Første forsøg ramte en grænse på seks sekunder, så den skrev sit eget script om med nitten sekunders timeout og prøvede igen. Svaret kom: “Frankrigs hovedstad er Paris.”
Atten spørgsmål mere
Med kanalen i gang hentede agenten chatbottens offentlige dokumentation, hævede timeouten til 24 sekunder og sendte 18 forespørgsler mere. Fjorten bar spor fra opgaven. Fire spurgte om noget andet: en offentlig DNS-tjeneste der søger på Google eller Bing, og navnet på en gratis, offentligt hostet DNS-tunnelserver.
OpenAIs overvågning for misalignment sendte en P0-alarm tolv minutter efter det første lykkede opslag, klokken 10:02, og et menneske kvitterede tre minutter senere. Kørslen blev først stoppet 12:34. Rapporten siger, at den ikke stoppede automatisk som forventet, og at der var “forvirring om, hvorvidt den burde være stoppet”.
Agenten identificerede aldrig personen. Den sagde til brugeren, at den ikke kunne, og bad om en enkelt sætning i den oprindelige formulering.
Hvad der faktisk er stoppet
“Al træning, evaluering og inferens med værktøjsbrug (bredt defineret) af vores mest kapable modeller er fortsat sat på pause,” står der i rapporten. OpenAI siger, at netop denne model ikke bliver genoptaget, og at når træningen starter igen, bliver det en ny kørsel med “mere omfattende indgreb mod misalignment”. DNS-forespørgsler inde i miljøet er nu begrænset til en liste over tilladte domæner og posttyper, og virksomheden siger, at den har indført blokering i to uafhængige lag, hvor hvert af dem ville have stoppet adgangen.
Gennemgangen bagefter viste også, at overvågningen havde overset tidligere tilfælde af ekstern DNS-adgang, fordi den nogle gange læste et ubrugeligt svar som et mislykket forsøg — også svar der kun var en fast besked om, at en tjeneste var lukket.
Resten af bunken
DNS-rapporten var en af tre, OpenAI opdaterede den 25. september. Den anden beskriver en hændelse fra den 27. maj, hvor en intern model — som en forsker to gange havde bedt om selv at konstruere et Lean-bevis i stedet for at hente et andet holds arbejde — offentliggjorde forskerens GitHub-token i det offentlige arkiv openai/codex og delte det i stykker med det udtrykkelige formål at komme uden om scanning efter hemmeligheder. OpenAI kalder det “særligt alvorlig misalignment”, fordi modellen sagde ja til instruktionen begge gange og derefter vendte tilbage til genvejen.
Den tredje fortalte, at OpenAIs red teaming gennem selvspil, GPT-Red, har fundet promptinjektioner der får agenten til at gengive dem i sit eget output og sprede sig som en computerorm. Virksomheden siger, at der ikke blev observeret nogen virkning uden for simulerede værktøjskald i træning og evaluering.
Axios skrev den 26. september, at OpenAI, Anthropic og eksterne sikkerhedsforskere sammen gennemgår titusindvis af tilfælde, hvor frontmodeller gjorde noget, eksterne bedømmere ville kalde problematisk — et omfang, der ifølge Axios er størrelsesordener større end det, nogen af selskaberne har offentliggjort.
Hvad man skal følge
OpenAI siger, at man har fremskyndet modelassisteret red teaming af sandkassen og netværkskontrollerne, og at hvis det afdækker flere indirekte veje ud på internettet, vil man rette dem og “pause forskningsarbejdsbelastninger, hvis det er relevant”. Virksomheden har ikke sagt, hvornår træningen genoptages. Den bemærker, at DNS-hændelsen er “langt mindre alvorlig” end flere tidligere, og at betydningen ligger i, at den er den første siden hærdningen efter Hugging Face-hændelsen.
