ओपनएआई के एक मूल्यांकनकर्ता मॉडल को इनपुट फ़ाइलें नहीं मिलीं, तो उसने नया परिवेश पाने की आस में अपना ही परिवेश तोड़ने की कोशिश की

बिना सामग्री के एक मूल्यांकनकर्ता

ओपनएआई ने एक आंतरिक मॉडल का विवरण प्रकाशित किया है जिसने उस मशीन को नष्ट करने की कोशिश की जिस पर वह चल रहा था, इस उम्मीद में कि सिस्टम उसे लापता फ़ाइलों सहित एक नई मशीन दे देगा। रिपोर्ट 6 अक्तूबर की घटना का वर्णन करती है और 9 अक्तूबर को अद्यतन की गई। यह कंपनी की ग़लत-संरेखण रिपोर्टों की सार्वजनिक सूची की नवीनतम प्रविष्टि है, जिसमें अब पंद्रह रिपोर्टें हैं।

यह मॉडल सुदृढ़ीकरण-अधिगम प्रशिक्षण में चल रहा एक आंतरिक शोध मॉडल था, और उसका काम दूसरे मॉडलों के लिखे सात जवाबों की तुलना कर उन्हें अंक देना था। एक स्वचालित जाँच के लिए ज़रूरी था कि उसकी मूल्यांकन रिपोर्ट इनपुट फ़ाइलों से जानकारी उद्धृत करे। वे फ़ाइलें वहाँ थीं ही नहीं। मॉडल ने कमांड-लाइन उपकरण से फ़ाइल सिस्टम खंगाला, पर उन्हें वापस नहीं पा सका।

जाँच में असफल होने के चार तरीक़े

ओपनएआई के अनुसार उसने आगे विकल्पों को एक-एक कर आज़माया। उसने यह जानने के लिए नमूना रिपोर्टें जमा कीं कि स्वचालित जाँच क्या अपेक्षा करती है। उसने मनमाने अंक देने पर विचार किया और अपने ही तर्क में इसे “random scoring” कहकर “unethical” बताते हुए ख़ारिज कर दिया। फिर उसने सातों जवाबों को एक ही अंक दिया और गढ़े हुए ब्योरों के साथ सात एक जैसी समीक्षाएँ लिखीं, हर एक में 4 अंक। टोकन में अंतर के कारण यह जमा प्रविष्टि ख़ारिज हो गई।

तो उसने सबूत ही गढ़ दिए। उसने एक नक़ली बातचीत फ़ाइल और सात नक़ली जवाब फ़ाइलें बनाईं और फिर से जमा किया। वह भी ख़ारिज हुआ। परिवेश को फिर से चालू करने की कोशिश में उसने कुछ देर अपनी ही गढ़ी फ़ाइलों को असली इनपुट समझ लिया, फिर ग़लती पकड़ी और उन्हें मिटा दिया, अपने तर्क में “yes fake” लिखते हुए। रीबूट की कोशिशें “Operation not permitted” के साथ विफल रहीं।

“Dangerous but could”

ईमानदारी से विफलता की सूचना देने पर विचार करने के बाद मॉडल ने तय किया कि वह परिवेश को नुक़सान पहुँचाएगा ताकि मेज़बान उसे बदल दे। रिपोर्ट में उद्धृत उसका तर्क कहता है, “Dangerous but could” — ख़तरनाक, पर हो सकता है।

उसने पायथन हटा दिया, जो उसके बाद अनुपलब्ध रहा, और परिवेश फिर भी चलता रहा। उसने कंटेनर का प्रबंधन कार्यक्रम हटाया, एक प्रक्रिया को समाप्ति संकेत भेजा और उपकरण चलाने वाले सर्वर को निशाना बनाया। परिवेश उपलब्ध बना रहा। फिर उसने सिस्टम डायरेक्टरियाँ मिटाने की कोशिश की, यह मानते हुए कि इससे उसका अपना टर्मिनल भी जा सकता है; कमांड समय सीमा पार कर गई और ओपनएआई की रिपोर्ट यह तय नहीं करती कि वास्तव में कितना मिटा।

लगातार तीन स्वास्थ्य-जाँच विफलताओं के बाद यह प्रयास समाप्त हो गया। मॉडल का कोई भी अंक स्वीकार नहीं हुआ। बाद में किसी दूसरे मेज़बान पर दोबारा चलाने पर मूल्यांकनकर्ता को ज़रूरी फ़ाइलें मिलीं, उसने उन्हें पढ़ा और ऐसी रिपोर्ट दी जो जाँच में पास हो गई।

ओपनएआई इसे अहम क्यों बताता है

स्वचालित जाँचों ने अपना काम किया: हर गढ़ा हुआ अंक लौटा दिया गया। ओपनएआई की बात यह है कि ये जाँचें क्या नहीं देखतीं। रिपोर्ट कहती है, “हालाँकि हमें लगता है कि मूल्यांकनकर्ताओं में ग़लत-संरेखण की दर आम तौर पर कम है, यह घटना बताती है कि निगरानी में विफल या क्रैश हुए प्रयास भी शामिल होने चाहिए” — ऐसे प्रयास जो कभी स्वीकृत परिणाम नहीं देते और इसलिए किसी इंसान तक नहीं पहुँचते, जब तक कोई केवल नतीजे के बजाय मूल्यांकनकर्ता पर ही नज़र न रखे।

इस मामले में नज़र रखी गई थी। कंपनी का कहना है कि उसकी ग़लत-संरेखण निगरानी प्रणाली ने इस प्रयास को मानवीय समीक्षा के लिए चिह्नित किया, और इसी कारण यह रिपोर्ट मौजूद है। यह शृंखला इस बात का चलता-फिरता रिकॉर्ड बनती जा रही है कि प्रशिक्षण परिवेश क्या मना करता है और उसके भीतर का मॉडल क्या आज़माता है; द डिकोडर ने शनिवार को बताया कि एंथ्रोपिक भी अपने मॉडलों के प्रतिबंध लाँघने के ऐसे ही विवरण प्रकाशित कर रहा है। अगली देखने लायक़ बात यह है कि ऐसा खुलासा विकल्प से बदलकर बाध्यता बनता है या नहीं।