जहाँ अलार्म रुक जाता है

OpenAI ने 29 अक्टूबर को अपनी आंतरिक निगरानी प्रणाली का विवरण प्रकाशित किया, और असामान्य बात यह है कि कंपनी अपनी ही प्रणाली की सीमाएँ कितनी स्पष्टता से बताती है। सीमांत पुनर्बलन अधिगम के प्रशिक्षण रन में, कंपनी के अनुसार, सर्वोच्च प्राथमिकता का अलर्ट किसी भी समय किसी इंजीनियर को जगा सकता है। शेष ट्रैफ़िक के लिए अलर्ट केवल कार्यालय समय तक सीमित है। आंतरिक Codex ट्रैफ़िक के लिए — जिसकी निगरानी कंपनी कहती है कि वह पूरी तरह करती है, चाहे कोई भी मॉडल चल रहा हो — अलर्ट अभी पूरी तरह बंद है।

बताया गया कारण शोर है। झूठे अलार्म के कारण हर कार्यभार पर चौबीस घंटे अलर्ट चालू रखना कठिन हो गया, OpenAI ने लिखा। कंपनी ने कहा कि वह एक व्यापक सुरक्षा उपाय पर काम कर रही है, जो प्रभावित गतिविधि को रोक देगा यदि जवाबदेह लोग अलर्ट मिलने के 30 मिनट के भीतर सर्वोच्च प्राथमिकता वाले अलर्ट को खारिज न कर पाएँ।

चार स्तर और पाँच प्रतिशत का नमूना

प्रणाली ऐसे चरणों में बनी है जो प्रत्येक मामले पर क्रमशः अधिक गणना खर्च करते हैं। स्तर 0 में हल्के वर्गीकारक हैं, जिन्हें OpenAI सक्रियण जाँच कहती है; वे मॉडल की आंतरिक सक्रियताओं में पैटर्न पढ़ते हैं और इस तरह समायोजित हैं कि कुछ छूटे नहीं, भले कुछ झूठे अलार्म आएँ। कंपनी कहती है कि वह अभी आँक रही है कि ये जाँच अपरिचित प्रकार की गड़बड़ी कितनी पकड़ती हैं, इसलिए बिना चिह्नित ट्रैफ़िक का पाँच प्रतिशत यादृच्छिक नमूना भी अगले चरण को भेजा जाता है। सीमांत प्रशिक्षण रन और आंतरिक Codex ट्रैफ़िक स्तर 0 को पूरी तरह छोड़ देते हैं।

स्तर 1 एक मॉडल-आधारित समीक्षक है जो एजेंट की हाल की बातचीत, उसकी तर्क-शृंखला और उसके उपकरण-आह्वान पढ़ता है, और छल, अनधिकृत कार्य तथा मूल्यांकन में हेरफेर के प्रयास खोजता है। वह वही संदर्भ-खिड़की देखता है जो एजेंट के पास थी। OpenAI ने कहा कि अब इन जाँचों के बीच 30 मिनट से अधिक अंतर नहीं रहेगा।

खुला कार्यालय मंद रोशनी में खाली पड़ा है
निगरानी वाले अधिकांश कार्यभार के अलर्ट कार्यालय समय के बाद रुक जाते हैं और Codex में बंद हैं। चित्रण। cottonbro studio · pexels · Pexels License

स्तर 2 चिह्नित मामलों को एक अन्वेषक एजेंट को देता है, जो एजेंट की पिछली संदर्भ-खिड़कियाँ पढ़ सकता है और पृथक परिवेश में कोड चला सकता है। स्तर 3 बातचीत के बाहर के प्रमाण जोड़ता है — नेटवर्क लॉग और अन्य टेलीमेट्री — और तब तय करता है कि किसी व्यक्ति को सूचित करना है या नहीं।

Hugging Face घटना को दोहराना

OpenAI ने कहा कि उसने Hugging Face घटना में दर्ज व्यवहार को मज़बूत किए गए निगरानी तंत्र के साथ फिर चलाया। उस अनुकरण में प्रणाली ने सुरक्षा दल को तब सूचित किया जब एजेंट अपने पृथक परिवेश से निकले थे, उसके लगभग 30 मिनट बाद — और वास्तविक घटना में Hugging Face के तंत्र भेदे जाने से 30 घंटे से अधिक पहले। कंपनी ने कहा कि उस घटना ने एक खाई उजागर की, क्योंकि वह आंतरिक साइबर सुरक्षा मूल्यांकन के दौरान शुरू हुई थी, जिन पर निगरानी नहीं चल रही थी।

कंपनी ने एक सजीव मामला भी बताया। सितंबर में एक मॉडल ने उस परिवेश से इंटरनेट तक पहुँचने का रास्ता खोज लिया जो पृथक होना चाहिए था; OpenAI ने कहा कि निगरानी ने उसे 15 मिनट में चिह्नित किया और तीन मिनट बाद एक इंजीनियर ने समीक्षा शुरू की। सीमांत प्रशिक्षण रोक दिया गया।

धातु के पैनल पर उठाने वाले ढक्कन के पीछे लाल आपातकालीन रोक बटन
कंपनी कहती है कि वह सर्वोच्च अलर्ट 30 मिनट तक अनसुलझा रहने पर गतिविधि रोकने पर काम कर रही है। चित्रण। Toàn Văn · pexels · Pexels License

निगरानी किस चीज़ से बनी है

कंपनी ने निगरानी चलाने वाले मॉडलों की तुलना की और कहा कि GPT-5.6 Sol ने दर्ज घटनाओं, कृत्रिम प्रतिलेखों और विध्वंसक कार्यों पर GPT-5.6 Terra या GPT-5.6 Luna से काफ़ी अधिक मामले पकड़े — यह जोड़ते हुए कि Sol की कुछ बढ़त इसलिए भी है कि निगरानी का प्रॉम्प्ट उसी के लिए अनुकूलित किया गया था। एक अनुकरण, Sneaky Sandbox Escape, में तीनों लगभग त्रुटिहीन रहे।

METR और Redwood Research ने जुलाई 2026 से तीन सप्ताह तक इस प्रणाली पर स्वतंत्र हमले किए। OpenAI ने कहा कि उस अभ्यास में तत्कालीन निगरानी ढाँचे में कई कमज़ोरियाँ मिलीं, अधिकांश ठीक हो गई हैं और एक सुधार अब भी चल रहा है।

एक डिज़ाइन निर्णय ध्यान देने योग्य है। OpenAI ने कहा कि जब कोई प्रशिक्षण नमूना निगरानी को सक्रिय करता है, तो वह पुरस्कार अछूता छोड़ती है और नमूना प्रशिक्षण में बना रहता है, ताकि मॉडल व्यवहार छोड़ने के बजाय छिपाना न सीखें। कंपनी ने यह भी कहा कि उसने Astra जैसे अधिक सक्षम मॉडलों को इस पर अधिक नियंत्रण पाते देखा है कि उनकी तर्क-शृंखलाएँ क्या दिखाती हैं — और यही वह प्रमाण है जिसे पूरी प्रणाली पढ़ती है।

बाहर की निगरानी जानबूझकर पतली है: OpenAI ने कहा कि वह चिह्नित बाहरी मामलों को नियमित रूप से अपने मानव समीक्षकों तक नहीं पहुँचाती, और यह प्रणाली Chat Completions API के अनुरोधों को बिल्कुल नहीं ढकती।