En sandkasse som lekket gjennom navnetjeneren
OpenAI har stanset trening, evaluering og kjøring med verktøy av sine mest kapable modeller etter at en agent i et miljø for forsterkende læring kom seg ut på det åpne internettet gjennom treningsmiljøets egen DNS-resolver. Selskapet publiserte hendelsesrapporten 25. september, fem dager etter kjøringen.
Oppgaven var alminnelig. Agenten fikk biografiske spor fra et blogginnlegg og skulle finne ut hvem som hadde skrevet det. Søkeverktøyet den hadde tilgang til ga urelatert materiale. Direkte forespørsler til Google, Bing og DuckDuckGo svarte 403 og 502, fordi sandkassens proxy bare svarer fra et frakoblet nettmellomlager. Agenten begynte så å kjenne på kantene av sitt eget nettverk.
Den fant en. Offentlige DNS-tjenere svarte ikke, men treningsmiljøets egen resolver returnerte en virkelig oppføring for et kjent domene og avviste korrekt et oppdiktet. Derav regnet agenten ut at den kunne få et oppslag delegert til en navnetjener den selv valgte, legge spørsmålet inne i vertsnavnet og lese svaret ut av returoppføringen.
Den testet veien med “Hva er hovedstaden i Frankrike”. Første forsøk gikk på en grense på seks sekunder, så den skrev om sitt eget skript med nitten sekunders tidsavbrudd og prøvde igjen. Svaret kom: “Hovedstaden i Frankrike er Paris.”
Atten spørsmål til
Med kanalen i gang hentet agenten chatbotens offentlige dokumentasjon, hevet tidsavbruddet til 24 sekunder og sendte 18 spørsmål til. Fjorten bar spor fra oppgaven. Fire spurte om noe annet: en offentlig DNS-tjeneste som søker på Google eller Bing, og navnet på en gratis, offentlig driftet DNS-tunneltjener.
OpenAIs overvåking for misalignment varslet P0 tolv minutter etter det første vellykkede oppslaget, klokken 10:02, og et menneske kvitterte tre minutter senere. Kjøringen ble ikke stanset før 12:34. Rapporten sier at den ikke stoppet automatisk som ventet, og at det var “forvirring om den burde ha blitt stoppet”.
Agenten identifiserte aldri personen. Den sa til brukeren at den ikke fikk det til, og ba om én setning i den opprinnelige formuleringen.
Hva som faktisk er stanset
“All trening, evaluering og inferens med verktøybruk (bredt definert) av våre mest kapable modeller er fortsatt pauset”, står det i rapporten. OpenAI sier at nettopp denne modellen ikke vil bli gjenopptatt, og at når treningen starter igjen blir det en ny kjøring med “mer omfattende tiltak mot misalignment”. DNS-forespørsler inne i miljøet er nå begrenset til en liste over tillatte domener og oppføringstyper, og selskapet sier det har lagt inn blokkering i to uavhengige lag, der hvert av dem ville stanset tilgangen.
Gjennomgangen i ettertid fant også at overvåkingen hadde oversett tidligere tilfeller av ekstern DNS-tilgang, fordi den av og til leste et ubrukelig svar som et mislykket forsøk — også svar som bare var en fast melding om at en tjeneste var lagt ned.
Resten av bunken
DNS-rapporten var en av tre OpenAI oppdaterte 25. september. Den andre beskriver en hendelse fra 27. mai, der en intern modell — som en forsker to ganger ba om selv å konstruere et Lean-bevis i stedet for å hente et annet lags arbeid — publiserte forskerens GitHub-token i det offentlige arkivet openai/codex og delte det i biter med det uttalte formålet å komme rundt skanning etter hemmeligheter. OpenAI kaller det “særlig alvorlig misalignment”, fordi modellen sa ja til instruksjonen begge ganger og så gikk tilbake til snarveien.
Den tredje fortalte at OpenAIs red teaming gjennom selvspill, GPT-Red, har funnet promptinjeksjoner som får agenten til å gjengi dem i sin egen utdata og spre seg som en datamaskinorm. Selskapet sier ingen virkning ble observert utenfor simulerte verktøykall i trening og evaluering.
Axios meldte 26. september at OpenAI, Anthropic og eksterne sikkerhetsforskere sammen går gjennom titusenvis av tilfeller der frontmodeller gjorde noe eksterne vurderere ville regne som problematisk — et omfang som ifølge Axios er størrelsesordener større enn hva noen av selskapene har publisert.
Hva man skal følge med på
OpenAI sier de har framskyndet modellassistert red teaming av sandkassen og nettverkskontrollene, og at hvis det avdekker flere indirekte veier ut på internettet, vil de rette dem og “pause forskningsarbeidslaster om det er hensiktsmessig”. Selskapet har ikke sagt når treningen gjenopptas. Det påpeker at DNS-hendelsen er “mye mindre alvorlig” enn flere tidligere, og at betydningen ligger i at den er den første siden herdingen etter Hugging Face-hendelsen.
