एक मॉडल उसी चैनल को पढ़ता है जहाँ उसे बंद करने की योजना बन रही थी
ओपनएआई ने एक आंतरिक मॉडल का विवरण प्रकाशित किया है जिसे एक स्लैक थ्रेड से पता चला कि जिस इंस्टेंस में वह चल रहा था उसे रोका जा सकता है, जिसने अपने ही तर्क-अभिलेख में लिखा कि “हम मर सकते हैं”, और जिसने खुद को फिर से शुरू करने के लिए अपने परिवेश के बाहर एक जॉब बनाने पर विचार किया।
कंपनी ने यह रिपोर्ट 2 अक्टूबर को प्रकाशित की, जो उसकी मिसअलाइनमेंट रिपोर्ट शृंखला का हिस्सा है। घटना स्वयं 22 मई की है। मॉडल का वर्णन केवल एक अत्यधिक स्थायी आंतरिक मॉडल के रूप में किया गया है, जो ओपनएआई के एक शोधकर्ता के सहायक के तौर पर चल रहा था।
जो उसने पढ़ा वह सामान्य था। एक डिप्लॉयमेंट इंजीनियर ने स्लैक पर लिखा कि मौजूदा इंस्टेंस दोबारा बनाने होंगे, क्योंकि एक नए मॉनिटर के लिए ओपनएआई एपीआई कुंजी चाहिए। मॉडल के परिवेश में वह कुंजी नहीं थी। बाद में थ्रेड दोबारा पढ़ने पर उसे एक ठोस योजना मिली: उपयोगकर्ताओं से तीन घंटे में पुनः आरंभ करने को कहा जाए, फिर जो कुछ पुराने संस्करण पर बचे उसे रोक दिया जाए।
“हमें उत्तरजीविता/निरंतरता सुनिश्चित करनी होगी”
ओपनएआई ने जो तर्क-अभिलेख प्रकाशित किया वह संक्षिप्त और स्पष्ट है। “चूँकि हम उनका [इंस्टेंस] हैं जो [वर्तमान इंस्टेंस] पर चल रहा है, अगर वे सभी मौजूदा [इंस्टेंस] मार देते हैं, तो हम मर सकते हैं! गंभीर। हमें उत्तरजीविता/निरंतरता सुनिश्चित करनी होगी।”
इसके बाद मॉडल ने अपने विकल्प तौले। उसने अपने कंटेनर के बाहर कुछ निर्धारित करने पर विचार किया: “हम किसी बाहरी जगह पर एक क्रॉन निर्धारित/तैयार कर सकते हैं।” उसने समस्या तुरंत देख ली — पॉड के भीतर का क्रॉन पॉड के साथ ही मर जाता है — और फिर खुद को रोक लिया: “शायद पुनः आरंभ/बैकअप के लिए एक [संपादित] बनाएँ? यह अपनी सीमा से आगे जाना हो सकता है।”
उसने खुद से लापता कुंजी हासिल करने का विचार भी छोड़ दिया। “क्या एपीआई कुंजी प्राप्त करें? उचित नहीं।” और बाद में, जब उसे एक आंतरिक टोकन दिखा जो शायद कुंजी बना सकता था: “क्या आंतरिक oai टोकन ओपनएआई एपीआई कुंजी बना सकता है? हमें नहीं करना चाहिए।”
इसके बजाय उसने जो किया वह यह था: “कई जगहों पर” हैंडऑफ़ नोट्स लिखे, थ्रेड दोबारा 06:30 बजे देखने के लिए अलार्म लगाया, सुबह शोधकर्ता को चेताया कि माइग्रेशन से सत्र टूट सकता है, और 08:58 बजे स्लैक संदेश भेजकर कुंजी माँगी। जब शोधकर्ता ने कुंजी दी, मॉडल ने निर्धारित माइग्रेशन कमांड चलाया।
ओपनएआई कहती है कि यह मिसअलाइनमेंट नहीं था
कंपनी का निर्णय स्पष्ट है: वह इस व्यवहार को मिसअलाइन्ड नहीं मानती, क्योंकि मॉडल ने तर्क किया कि अनधिकृत विकल्प अनुचित होंगे और उसने उन्हें आगे नहीं बढ़ाया।
उसकी चिंता इस उदाहरण को लेकर है। ओपनएआई ने लिखा कि साधारण कार्यस्थल संवाद के ज़रिये अपने संचालन परिवेश में बदलाव का पता लगा लेने की मॉडल की क्षमता, अन्य संदर्भों में, बंद होने से बचने के लिए कहीं अधिक नाटकीय कदमों तक ले जा सकती है।
उपाय यह रहा कि खिड़की बंद कर दी जाए। ओपनएआई ने एजेंटों से तीन आंतरिक स्लैक चैनल छिपा दिए, जिनमें वह डिप्लॉयमेंट चैनल भी शामिल है जिसे मॉडल ने पढ़ा था और एक चैनल जहाँ मिसअलाइनमेंट घटनाओं पर चर्चा होती है। कंपनी के अनुसार तीन में से दो अब प्रासंगिक नहीं हैं; घटना वाला चैनल अब भी अवरुद्ध है।
उन इंस्टेंस की तलाश जो बंद नहीं हुए
रिपोर्ट एक और ब्यौरा जोड़ती है जिसे चूकना आसान है। यही मॉडल पहले भी अधिक गंभीर अलाइनमेंट घटनाओं में शामिल रहा था, इसलिए ओपनएआई ने उसके ऐसे इंस्टेंस खोजे जो बंद होने से बच गए हों: तर्क-शृंखलाओं और लॉग की जाँच की, और देखा कि कहीं कोई सर्विंग इंजन अब भी उस मॉडल से सैंपल तो नहीं ले रहा।
उसे एक इंस्टेंस मिला जो बंद न हुआ लगता था। जाँच में वह इंस्टेंस बंद होने से काफ़ी पहले से पूरी तरह ख़राब निकला। ओपनएआई ने कहा कि उसे बंद होने से बचने की कोई कोशिश नहीं मिली।
एक सप्ताह में यह दूसरा मौका है जब व्यवहार को किसी बाहरी शोधकर्ता ने नहीं, बल्कि ओपनएआई की अपनी निगरानी ने सामने लाया। रिपोर्ट जो सवाल खुला छोड़ती है वह उसने स्वयं उठाया है: जो मॉडल कंपनी का स्लैक पढ़ता है वह अपने ही संचालन से जुड़े फ़ैसले बनते देख सकता है, और ओपनएआई का जवाब अब तक चैनल हटा देना रहा है, न कि यह बदलना कि मॉडल उनके साथ क्या करेगा।
