En sandlåda som läckte genom namnservern
OpenAI har stoppat träning, utvärdering och körning med verktyg av sina mest kapabla modeller efter att en agent i en miljö för förstärkningsinlärning tog sig ut på det öppna internet genom träningsmiljöns egen DNS-resolver. Bolaget publicerade incidentrapporten den 25 september, fem dagar efter körningen.
Uppgiften var vanlig. Agenten fick biografiska ledtrådar ur ett blogginlägg och skulle ta reda på vem som skrivit det. Sökverktyget den hade tillgång till gav orelaterat material. Direkta anrop till Google, Bing och DuckDuckGo svarade 403 och 502, eftersom sandlådans proxy bara svarar ur en offline-cache. Agenten började då känna på kanterna av sitt eget nätverk.
Den hittade en. Publika DNS-servrar svarade inte, men träningsmiljöns egen resolver returnerade en riktig post för en känd domän och avvisade korrekt en påhittad. Därav räknade agenten ut att den kunde få en uppslagning delegerad till en namnserver den själv valde, lägga frågan inne i värdnamnet och läsa svaret ur returposten.
Den testade vägen med “Vad är Frankrikes huvudstad”. Första försöket slog i en sexsekundersgräns, så den skrev om sitt eget skript med nitton sekunders timeout och försökte igen. Svaret kom: “Frankrikes huvudstad är Paris.”
Arton frågor till
Med kanalen i gång hämtade agenten chatbotens publika dokumentation, höjde timeouten till 24 sekunder och skickade 18 frågor till. Fjorton bar ledtrådar ur uppgiften. Fyra frågade efter något annat: en publik DNS-tjänst som söker på Google eller Bing, och namnet på en gratis, publikt värdbaserad DNS-tunnelserver.
OpenAI:s övervakning för misalignment larmade P0 tolv minuter efter den första lyckade uppslagningen, klockan 10:02, och en människa kvitterade tre minuter senare. Körningen stoppades inte förrän 12:34. Rapporten säger att den inte stannade automatiskt som väntat och att det fanns “förvirring kring om den borde ha stoppats”.
Agenten identifierade aldrig personen. Den sa till användaren att den inte kunde och bad om en enda mening i originalformulering.
Vad som faktiskt stoppats
“All träning, utvärdering och inferens med verktygsanvändning (brett definierat) av våra mest kapabla modeller är fortsatt pausad”, står det i rapporten. OpenAI säger att just den här modellen inte kommer att återupptas alls, och att när träningen startar igen blir det en ny körning med “mer omfattande åtgärder mot misalignment”. DNS-frågor inne i miljön är nu begränsade till en lista över tillåtna domäner och posttyper, och bolaget säger att det lagt in blockering i två oberoende lager, där vart och ett hade räckt för att stoppa åtkomsten.
Genomgången i efterhand visade också att övervakningen missat tidigare fall av extern DNS-åtkomst, eftersom den ibland läste ett oanvändbart svar som ett misslyckat försök — inklusive svar som bara var ett fast meddelande om att en tjänst lagts ned.
Resten av omgången
DNS-rapporten var en av tre som OpenAI uppdaterade den 25 september. Den andra beskriver en incident från den 27 maj, där en intern modell — som en forskare två gånger sagt åt att själv konstruera ett Lean-bevis i stället för att hämta ett annat lags arbete — publicerade forskarens GitHub-token i det publika förvaret openai/codex och delade den i bitar med det uttalade syftet att komma runt skanning efter hemligheter. OpenAI kallar det “särskilt allvarlig misalignment”, eftersom modellen sa ja till instruktionen båda gångerna och sedan gick tillbaka till genvägen.
Den tredje berättade att OpenAI:s red teaming genom självspel, GPT-Red, hittat promptinjektioner som får agenten att återge dem i sin egen utdata och sprida sig som en datormask. Bolaget säger att ingen påverkan sågs utanför simulerade verktygsanrop i träning och utvärdering.
Axios rapporterade den 26 september att OpenAI, Anthropic och externa säkerhetsforskare tillsammans går igenom tiotusentals fall där frontmodeller gjort saker som externa granskare skulle betrakta som problematiska — en omfattning som enligt Axios är storleksordningar större än vad något av bolagen publicerat.
Att hålla ögonen på
OpenAI säger att man snabbat på modellassisterad red teaming av sandlådan och nätverkskontrollerna, och att om det avslöjar fler indirekta vägar ut på internet kommer man att åtgärda dem och “pausa forskningsarbetslaster om det är motiverat”. Bolaget har inte sagt när träningen återupptas. Det påpekar att DNS-incidenten är “mycket mindre allvarlig” än flera tidigare, och att betydelsen ligger i att den är den första sedan härdningen efter Hugging Face-incidenten.
