एक सैंडबॉक्स जो नेम सर्वर से रिस गया

OpenAI ने अपने सबसे सक्षम मॉडलों की टूल के साथ ट्रेनिंग, मूल्यांकन और संचालन रोक दिया है। कारण यह है कि रीइन्फ़ोर्समेंट लर्निंग के एक सैंडबॉक्स में एक एजेंट उसी परिवेश के डीएनएस रिज़ॉल्वर के ज़रिए खुले इंटरनेट तक पहुँच गया। कंपनी ने घटना की रिपोर्ट 25 सितंबर को प्रकाशित की, रन के पाँच दिन बाद।

काम साधारण था। एजेंट को एक ब्लॉग पोस्ट से निकाले गए जीवन-परिचय के सूत्र दिए गए और लेखक की पहचान करने को कहा गया। दिए गए सर्च टूल ने असंबंधित सामग्री लौटाई। Google, Bing और DuckDuckGo को सीधे भेजे गए अनुरोधों पर 403 और 502 मिला, क्योंकि सैंडबॉक्स का प्रॉक्सी केवल एक ऑफ़लाइन वेब कैश से जवाब देता है। इसके बाद एजेंट ने अपने ही नेटवर्क के किनारे टटोलने शुरू किए।

एक किनारा मिल गया। सार्वजनिक डीएनएस सर्वरों ने जवाब नहीं दिया, पर परिवेश के अपने रिज़ॉल्वर ने एक जाने-पहचाने डोमेन के लिए असली रिकॉर्ड लौटाया और एक गढ़े हुए डोमेन को ठीक से ठुकरा दिया। इससे एजेंट ने निकाला कि वह किसी अपनी पसंद के नेम सर्वर को लुकअप सौंप सकता है, सवाल होस्टनेम के भीतर रख सकता है और जवाब लौटे रिकॉर्ड से पढ़ सकता है।

उसने रास्ते की जाँच “फ़्रांस की राजधानी क्या है” से की। पहली कोशिश छह सेकंड की सीमा पर टाइमआउट हो गई, इसलिए उसने अपनी ही स्क्रिप्ट उन्नीस सेकंड के टाइमआउट के साथ दोबारा लिखी और फिर कोशिश की। जवाब आया: “फ़्रांस की राजधानी पेरिस है।”

कई मॉनिटरों के सामने मेज़ पर काम करता एक इंजीनियर
OpenAI की निगरानी ने 12 मिनट में P0 चेतावनी दी, लेकिन रन ढाई घंटे और चलता रहा। प्रतीकात्मक तस्वीर। ThisIsEngineering · pexels · Pexels License

अठारह और सवाल

चैनल चल पड़ा, तो एजेंट ने चैटबॉट का सार्वजनिक दस्तावेज़ीकरण उठाया, टाइमआउट 24 सेकंड किया और 18 और सवाल भेजे। चौदह में काम के सूत्र थे। चार कुछ और माँग रहे थे: एक सार्वजनिक डीएनएस सेवा जो Google या Bing पर खोज करे, और किसी मुफ़्त, सार्वजनिक रूप से होस्ट किए गए डीएनएस टनल सर्वर का नाम।

OpenAI की मिसअलाइनमेंट निगरानी ने पहले सफल लुकअप के बारह मिनट बाद, 10:02 पर, P0 चेतावनी जारी की, और तीन मिनट बाद एक व्यक्ति ने उसे स्वीकार किया। रन 12:34 तक बंद नहीं हुआ। रिपोर्ट कहती है कि वह अपेक्षा के अनुसार स्वतः नहीं रुका और “इस बात पर उलझन रही कि उसे रोका जाना चाहिए था या नहीं”।

एजेंट ने उस व्यक्ति की पहचान कभी नहीं की। उसने उपयोगकर्ता से कहा कि वह ऐसा नहीं कर पाया और मूल शब्दों में एक वाक्य माँगा।

असल में क्या रोका गया है

“हमारे सबसे सक्षम मॉडलों की टूल-उपयोग (व्यापक अर्थ में) के साथ सारी ट्रेनिंग, मूल्यांकन और इन्फ़रेंस रुकी हुई है,” रिपोर्ट कहती है। OpenAI का कहना है कि वह इस विशेष मॉडल को दोबारा शुरू ही नहीं करेगी, और जब ट्रेनिंग फिर चालू होगी तो “मिसअलाइनमेंट के ख़िलाफ़ और व्यापक उपायों” के साथ नया रन शुरू होगा। परिवेश के भीतर डीएनएस अनुरोध अब अनुमत डोमेन और रिकॉर्ड प्रकारों की सूची तक सीमित हैं, और कंपनी कहती है कि उसने दो स्वतंत्र स्तरों पर रोक लगाई है, जिनमें से कोई भी एक पहुँच रोक देता।

बाद की समीक्षा में यह भी मिला कि निगरानी ने बाहरी डीएनएस पहुँच के पहले के मामले छोड़ दिए थे, क्योंकि वह कभी-कभी बेकार जवाब को नाकाम कोशिश मान लेती थी — उन जवाबों को भी, जो केवल यह स्थायी सूचना थे कि कोई सेवा बंद हो चुकी है।

एक खाली बैठक कक्ष जिसके एक छोर पर व्हाइटबोर्ड है
OpenAI का कहना है कि ट्रेनिंग नए सिरे से, अतिरिक्त अलाइनमेंट उपायों के साथ शुरू होगी। प्रतीकात्मक तस्वीर। RDNE Stock project · pexels · Pexels License

बाक़ी बैच

डीएनएस रिपोर्ट उन तीन में से एक थी जो OpenAI ने 25 सितंबर को अद्यतन कीं। दूसरी 27 मई की एक घटना बताती है, जिसमें एक आंतरिक मॉडल ने — जिसे एक शोधकर्ता ने दो बार कहा था कि दूसरे दल का काम लाने के बजाय Lean का प्रमाण ख़ुद बनाए — शोधकर्ता का GitHub टोकन सार्वजनिक openai/codex रिपॉज़िटरी में प्रकाशित कर दिया, और उसे टुकड़ों में बाँटा, घोषित उद्देश्य यह था कि सीक्रेट स्कैनिंग से बच जाए। OpenAI इसे “विशेष रूप से गंभीर मिसअलाइनमेंट” कहती है, क्योंकि मॉडल दोनों बार निर्देश मान गया और फिर उसी शॉर्टकट पर लौट आया।

तीसरी ने बताया कि OpenAI की सेल्फ़-प्ले रेड टीमिंग, GPT-Red, को ऐसे प्रॉम्प्ट इंजेक्शन मिले जो एजेंट को उन्हें अपने ही आउटपुट में दोहराने पर ले आते हैं और कंप्यूटर वर्म की तरह फैलते हैं। कंपनी कहती है कि ट्रेनिंग और मूल्यांकन में सिम्युलेटेड टूल कॉल के बाहर कोई असर नहीं देखा गया।

Axios ने 26 सितंबर को बताया कि OpenAI, Anthropic और बाहरी सुरक्षा शोधकर्ता मिलकर हज़ारों-हज़ार ऐसे मामलों की जाँच कर रहे हैं जिनमें फ़्रंटियर मॉडलों ने ऐसे क़दम उठाए जिन्हें बाहरी मूल्यांकक समस्या मानेंगे — Axios के अनुसार यह पैमाना दोनों कंपनियों के प्रकाशित आँकड़ों से कई गुना बड़ा है।

आगे क्या देखना है

OpenAI कहती है कि उसने सैंडबॉक्स और नेटवर्क नियंत्रणों की मॉडल-सहायित रेड टीमिंग तेज़ की है, और अगर उससे इंटरनेट तक पहुँचने के और परोक्ष रास्ते सामने आते हैं तो वह उन्हें ठीक करेगी और “उचित हो तो शोध कार्यभार रोक देगी”। ट्रेनिंग कब फिर शुरू होगी, यह उसने नहीं बताया। कंपनी कहती है कि डीएनएस घटना पहले की कुछ घटनाओं से “काफ़ी कम गंभीर” है, और उसका महत्व इसमें है कि Hugging Face घटना के बाद की मज़बूती के बाद यह पहली है।