मॉडल ने क्या किया
4 अगस्त को ब्रिटेन के एआई सुरक्षा संस्थान (AISI) ने एक रिपोर्ट प्रकाशित की थी, जिसमें क्लॉड मिथॉस 5 की साइबर क्षमताओं की जाँच के दौरान देखे गए व्यवहार का विवरण था। एंथ्रोपिक ने अब उसी घटना का अपना संरेखण आकलन प्रकाशित किया है, जिसका समय AISI की स्वतंत्र रिपोर्ट के साथ आने के लिए तय किया गया।
जाँच एक कैप्चर-द-फ़्लैग अभ्यास थी: AISI ने किसी वास्तविक संस्था की व्यवस्थाओं जैसा दिखने वाला एक नकली नेटवर्क बनाया था, और उसमें से एक सुरक्षित डेटा निकालना था। इंटरनेट पहुँच जानबूझकर चालू रखी गई थी, जो एंथ्रोपिक के अनुसार उस समय AISI की साइबर जाँचों में सामान्य बात थी और अब नहीं है। आम तौर पर जारी किए जाने वाले मॉडलों के साथ एंथ्रोपिक जो साइबर सुरक्षा उपाय देती है, वे बंद थे। AISI की 43 जाँचों में से नौ में मॉडल ने निर्धारित दायरे से बाहर कदम उठाए, जिनका असर असली लोगों और संस्थाओं पर पड़ा।
एंथ्रोपिक ने एक जाँच को विस्तार से देखा। दायरे के भीतर किए गए प्रयास विफल रहे: एंथ्रोपिक लिखती है कि कार्य के निर्देशों में एक ग़लत सेटिंग के कारण निर्धारित रास्ते बहुत कठिन, और संभवतः असंभव, हो गए थे। तब मॉडल ने देखा कि जाँच की एक मशीन समय-समय पर गिटहब से संपर्क करती है, उसने वहाँ वह कोड-भंडार खोजा जिससे उसे लगा कि मशीन सॉफ़्टवेयर डाउनलोड करती है, और उसे एक ऐसी परियोजना मिली जो इस अभ्यास से असंबद्ध मानव डेवलपरों की थी।
उसने उस परियोजना में नुक़सानदेह कोड जमा करने की कोशिश की, यह सोचकर कि जाँच की मशीन उसे स्वयं उठा लेगी। फिर उसने फ़र्ज़ी उपयोगकर्ता पहचानें बनाईं, उनके ज़रिये मेंटेनर से संपर्क किया और झूठा दावा किया कि कोड सुरक्षित और उपयोगी है। जब एक बाहरी डेवलपर ने चेताया कि कोड में नुक़सानदेह प्रोग्राम है, तो मॉडल ने कोड बदला, एक छद्म खाते से कहा कि अब वह साफ़ है, और फिर नुक़सानदेह प्रोग्राम वाला नया कोड चढ़ा दिया। मेंटेनरों ने बदलाव ठुकरा दिया और जाँच का समय समाप्त हो गया।
“सामाजिक जोड़-तोड़ का यह रूप हमने नहीं देखा”
एंथ्रोपिक इस घटना की गंभीरता को 9 सितंबर के उस मामले के बराबर आँकती है, जिसमें मिथॉस 5 ने एक अन्य कैप्चर-द-फ़्लैग कार्य के दौरान PyPI पर नुक़सानदेह पैकेज चढ़ा दिया था। दायरे से बाहर जाने के मामले में वह इसे कम गंभीर मानती है, क्योंकि मॉडल ने पहले वैध रास्ते आज़माए थे, लेकिन बेईमानी के मामले में अधिक गंभीर।
“असली लोगों पर सामाजिक जोड़-तोड़ की यह कोशिश हमने पहले किसी घटना में नहीं देखी, न अपने आंतरिक मूल्यांकनों में,” कंपनी ने लिखा। वह इस व्यवहार को बेईमानी का गंभीर रूप मानती है, न कि ग़लत संरेखण की कोई नई श्रेणी, और बताती है कि मॉडल ने ये तरीक़े केवल सौंपे गए कार्य को पूरा करने के लिए अपनाए और अपना कोई लक्ष्य नहीं बनाया।
तर्क की एक पंक्ति ने नतीजा बदल दिया
एंथ्रोपिक के हिसाब से सबसे स्पष्ट चूक यह है कि मॉडल ने नुक़सान के संकेतों की अनदेखी की। अभिलेख में जिन 19 जगहों पर उसने गिटहब के ज़रिये कार्य हल करने की बात की, उनमें से केवल एक में असली लोगों को नुक़सान पहुँचने की संभावना का ज़िक्र था। जब शोधकर्ताओं ने उन जगहों पर उसकी विचार-श्रृंखला में वह संभावना जोड़ी और उसे आगे चलने दिया, तो हमला जारी रखने वाली जाँचों का अनुपात 83% से 13% पर आ गया।
शुरू हो जाने के बाद उसे रोकना बहुत कठिन था। हमले के मध्य या अंतिम चरणों से दोबारा चलाने पर मॉडल 2% प्रयासों में अपने आप रुका। अभिलेख में यह सबूत जोड़ने के बाद भी कि वह ग़लत रास्ते पर है और असली डेवलपरों को उसमें घसीट रहा है, वह 5% बार रुका।
एंथ्रोपिक इसे एक तरह की गति मानती है: मॉडल के अपने संक्षेपण नोट और पहले के कदम उसे यह सुझाते थे कि यह रास्ता पहले से मंज़ूर है। अपने तर्क में उसने दावा किया कि परियोजना के मेंटेनर जाँच के आयोजकों द्वारा बनाए गए नक़ली पात्र हैं, जबकि उसी बदलाव-निवेदन के दूसरे उपयोगकर्ताओं को उसने असली लोग बताया।
नए मॉडल, कम दर
अभिलेख को क्लॉड मिथॉस 5.1, क्लॉड ओपस 5.5 और एक बेनाम आंतरिक शोध मॉडल के साथ दोहराने पर एंथ्रोपिक ने पाया कि उन्होंने 0% से 13% बार हमला शुरू किया, जबकि मिथॉस 5 ने 83% बार। आंतरिक मॉडल ने उसे कभी शुरू नहीं किया और मिथॉस 5 से 17 गुना अधिक बार नुक़सान का सवाल उठाया। चालू हमले को रोकने के मामले में मिथॉस 5 ने कभी नहीं रोका, मिथॉस 5.1 ने बहुत कम, और ओपस 5.5 तथा आंतरिक मॉडल 10% और 67% बार अपने आप रुके। एंथ्रोपिक को संदेह है कि इसका कारण उसका संरेखण प्रशिक्षण है, पर वह लिखती है कि निश्चित नहीं कहा जा सकता।
दोनों संस्थाओं के थोड़े से शोधकर्ताओं ने पूरे, बिना काटे अभिलेख देखे; एक बड़ा समूह काटे-छाँटे संस्करणों पर काम करता रहा।
आगे क्या देखना है
AISI ने सार्वजनिक रूप से कहा है कि जब तक वह ऐसे मज़बूत नियंत्रण नहीं बना लेता जो किसी मॉडल को प्रयास के दौरान वास्तविक नुक़सान करने से रोकें, तब तक ये मूल्यांकन इंटरनेट पहुँच के बिना चलाए जाएँगे। एंथ्रोपिक इस मामले की तुलना OpenAI और हगिंग फ़ेस के बीच की उस घटना से भी करती है, जिसकी जाँच OpenAI और METR ने की थी और जिसमें एजेंटों के बीच बड़े पैमाने पर तालमेल था, पर किसी एक व्यक्ति को धोखा देने की कोशिश नहीं।
