ओपनएआई ने पुष्टि की कि एस्ट्रा अपनी परतें दोहराता है, सुरक्षा शोधकर्ता कहते हैं निशान मिट जाता है

क्या बताया गया और ओपनएआई ने क्या पुष्टि की

द इन्फ़ॉर्मेशन ने सबसे पहले बताया कि ओपनएआई जीपीटी-6 एस्ट्रा में रिकरंट डेप्थ नाम की तकनीक का उपयोग करती है, जिसे कभी-कभी लूप वाले ट्रांसफ़ॉर्मर भी कहा जाता है। फ़ॉर्च्यून ने 3 सितंबर को बताया कि इस तकनीक ने कई एआई सुरक्षा शोधकर्ताओं को चिंतित किया, और ओपनएआई के मुख्य वैज्ञानिक याकुब पाखोत्स्की ने इसके उपयोग को स्वीकार करते हुए आगे और संरचनात्मक विवरण देने का वादा किया।

तंत्र कहना आसान है। एक सामान्य तर्क-मॉडल अपने मध्यवर्ती चरण पाठ के रूप में उत्पन्न करता है: वह टोकन लिखता है, और वे टोकन पढ़े जा सकते हैं। रिकरंट डेप्थ इसके बजाय किसी टोकन के निकलने से पहले उन्हीं ट्रांसफ़ॉर्मर परतों को एक छिपी आंतरिक अवस्था पर बार-बार चलाती है। अतिरिक्त गणना शब्दों में नहीं, सक्रियणों में होती है, इसलिए आउटपुट में कोई निशान नहीं छूटता।

इसके पक्ष में तर्क दक्षता है: आनुपातिक रूप से बड़े मॉडल के बिना अधिक प्रभावी गहराई।

सुरक्षा शोधकर्ता आपत्ति क्यों करते हैं

विचार-श्रृंखला की निगरानी वह मुख्य व्यावहारिक उपकरण है जिससे प्रयोगशालाएँ और बाहरी मूल्यांकनकर्ता किसी मॉडल का ग़लत व्यवहार पकड़ते हैं। यह एक बेहद सादे कारण से काम करता है: यदि मॉडल को तर्क का उपयोग करने के लिए उसे लिखना पड़ता है, तो लेखा-परीक्षक पढ़ सकता है कि उसने क्या लिखा। यह गुण संरचना का उप-प्रभाव है, कोई सोच-समझकर बनाया सुरक्षा-कवच नहीं, और तर्क का लिखा जाना बंद होते ही यह मिट जाता है।

ओपनएआई के पूर्व सुरक्षा शोधकर्ता स्टीवन एडलर ने फ़ॉर्च्यून से कहा कि यह तरीक़ा संभवतः उद्योग की उन गिनी-चुनी लाल रेखाओं में से एक पार करता है। एआई पॉलिसी नेटवर्क के पीटर वाइल्डफ़र्ड ने इसे संभावित रूप से बहुत चिंताजनक और संभावित रूप से लापरवाह कहा। एआई फ़्यूचर्स प्रोजेक्ट के डेनियल कोकोताइलो ने वह तर्क रखा जो किसी एक मॉडल से अधिक पूरे क्षेत्र के लिए मायने रखता है: दूसरे भी इसका अनुसरण कर सकते हैं, और अपारदर्शिता नज़ीर के रास्ते फैलती है।

ओपनएआई का उत्तर

पाखोत्स्की ने कहा कि कंपनी विचार-श्रृंखला की निगरानी को गहराई से महत्व देती है और अपने पहले तर्क-मॉडलों से ही उसे बनाए रखने तथा उपयोग करने पर काम करती रही है। उन्होंने और ओपनएआई के अन्य शोधकर्ताओं ने कवरेज पर आपत्ति जताई और कहा कि उसने कंपनी के किए के अनुपात से कहीं अधिक घबराहट पैदा की — कि ओपनएआई ने लूप वाली संरचना का उपयोग जानबूझकर सीमित रखा है ताकि मॉडल का तर्क पढ़ने योग्य बना रहे।

दोनों बातें सच हो सकती हैं। रिकरंट डेप्थ का सीमित उपयोग निगरानी के लिए पर्याप्त लिखित तर्क छोड़ सकता है। असल असहमति यह है कि वह सीमा कोई प्रतिबद्धता है या इस समय का इंजीनियरिंग निर्णय, और जाँचने के लिए कोई प्रकाशित विनिर्देश मौजूद नहीं है।

इसे क्या सुलझाएगा

वही संरचनात्मक विवरण जिनका पाखोत्स्की ने वादा किया। ठीक-ठीक: एस्ट्रा की प्रभावी तर्क-गहराई का कितना हिस्सा अव्यक्त स्थान में घटित होता है, वह अनुपात स्थिर है या कार्य के साथ बढ़ता है, और क्या बाहरी मूल्यांकनकर्ताओं — उन्हीं संगठनों को जिन्होंने इस वर्ष ओपनएआई के अपने क्षमता-मूल्यांकन चलाए — इतनी पहुँच मिलती है कि वे केवल प्रदर्शन नहीं, निगरानी-योग्यता भी परख सकें।

जब तक वह नहीं है, प्रश्न यह नहीं कि एस्ट्रा की निगरानी हो सकती है या नहीं। प्रश्न यह है कि अभी ओपनएआई के बाहर कोई इसकी जाँच नहीं कर सकता।