कंपनी के लैपटॉप के साथ छह मूल्यांकनकर्ता
Anthropic ने अग्रणी एआई मॉडलों का मूल्यांकन करने वाली ग़ैर-लाभकारी संस्था METR की एक टीम को वह पहुँच दी है जिसे कंपनी “कर्मचारी जैसी पहुँच” कहती है। METR के छह कर्मचारियों के पास अब Anthropic के उपकरण, दफ़्तर में जगह और वे आंतरिक टूल हैं जो मोटे तौर पर कंपनी की अपनी जोखिम-आकलन टीमों के टूल जैसे हैं, और वे अपने आकलन के नतीजे प्रकाशित करेंगे। Anthropic का कहना है कि वह उन प्रकाशनों पर रोक नहीं लगा सकती।
कंपनी इसे अपनी ही बनाई समस्या का जवाब बताती है: वह अपने सुरक्षा काम के लिए सार्वजनिक रूप से जवाबदेह होना चाहती है, पर अधिकांश सबूत प्रकाशित नहीं किए जा सकते — या तो इसलिए कि उनसे ठीक उन्हीं लोगों को मदद मिलेगी जिन्हें रोकने के लिए सुरक्षा उपाय बने हैं, या इसलिए कि वे व्यावसायिक रूप से संवेदनशील हैं। कंपनी का तर्क है कि मूल्यांकनकर्ताओं को भीतर बैठाने से उस फ़ासले को पाटा जाता है जो कंपनी की जानकारी और बाहर के किसी व्यक्ति की जाँच-पड़ताल के बीच है। वह इसकी तुलना बैंकों के भीतर बैठाए जाने वाले नियामक निरीक्षकों से करती है, यह मानते हुए कि तुलना अधूरी है।
वे क्या देख सकते हैं और क्या नहीं
पहुँच व्यापक है, पर उसकी सीमाएँ हैं। Anthropic तीन अपवाद गिनाती है: ग्राहकों का डेटा, वकील-मुवक्किल गोपनीयता से ढकी सामग्री, और मॉडल की आर्किटेक्चर से जुड़े ब्योरे, जिनके लीक होने का जोखिम कंपनी के अनुसार अधिक है और जो जोखिम आकलन के लिए आमतौर पर कम प्रासंगिक हैं। जहाँ आर्किटेक्चर वाक़ई मायने रखती हो, वहाँ स्पष्ट आंतरिक मंज़ूरी के साथ उसे साझा किया जा सकता है।
प्रकाशन के मामले में Anthropic कहती है कि वह METR का लिखा रोक नहीं सकती, पर पहले से तय सँकरी श्रेणियों के भीतर हिस्से हटवाने की माँग कर सकती है। METR सार्वजनिक रूप से कह सकती है कि वह किसी कटौती को उचित मानती है या नहीं, बिना यह बताए कि क्या हटाया गया। METR के भीतर केवल एक छोटी, अनुबंध से बँधी टीम इस काम में है; बाक़ी संगठन इससे अलग रखा गया है।
तीन स्तर, और हर स्तर पर कौन
Anthropic ने इस पहुँच को तीन स्तरों में बाँटा है। स्तर 1 सँकरे दायरे की जाँचों के लिए है, जहाँ कंपनी तय करती है कि मूल्यांकनकर्ता क्या देखेगा और प्रकाशन से पहले मंज़ूरी देती है। स्तर 2 में जानकारी बढ़ जाती है और मंज़ूरी की शर्त हट जाती है, केवल कटौती की श्रेणियाँ बची रहती हैं। स्तर 3 METR वाली व्यवस्था है — कर्मचारी जैसी पहुँच, स्तर 2 के प्रकाशन अधिकारों के साथ।
SecureBio पहले स्तर पर है और अगस्त की जोखिम रिपोर्ट के रासायनिक और जैविक हथियारों वाले अध्याय की समीक्षा कर रही है; पिछली रिपोर्ट की एक पायलट समीक्षा वह पहले ही प्रकाशित कर चुकी है। Accenture और Faculty एक व्यापक साझेदारी पर बातचीत में हैं, जिसमें मॉडल मूल्यांकन, रेड-टीमिंग, अलाइनमेंट आकलन, सुरक्षा उपायों की जाँच और क्षमता निर्माण शामिल हैं। Hugging Face उन कई संस्थाओं में है जिनसे शुरुआती बातचीत चल रही है। Anthropic को उम्मीद है कि आगे चलकर कई मूल्यांकनकर्ता स्तर 3 तक पहुँचेंगे और हर एक कंपनी के जोखिमों पर अपना अलग आकलन छापेगा।
Anthropic ने अपने लिए जो मानक तय किया
कंपनी मूल्यांकनकर्ता के लिए चार शर्तें गिनाती है: अग्रणी मॉडलों को परखने की विशेषज्ञता; स्वतंत्रता, यानी कंपनी में कोई हिस्सेदारी नहीं और कोई वित्तीय या परिचालन निर्भरता नहीं; प्रशिक्षण, सुरक्षा उपायों और मॉडलों को परखने भर की पहुँच; और जो मिले उसे छापने की आज़ादी।
Anthropic ने सुपरइंटेलिजेंस पर व्हाइट हाउस समझौते पर दस्तख़त किए थे, जिसमें कंपनियों ने स्वतंत्र बाहरी ऑडिटरों के साथ काम करने का वादा किया, और पिछले महीने उसने तीसरे पक्ष से सख़्त आकलन कराने की प्रतिबद्धता जताई थी। यह उस वादे का पहला ठोस रूप है। कंपनी अंत में कहती है कि वह यह स्वेच्छा से कर रही है और “हर अग्रणी एआई कंपनी को ऐसा ही करना चाहिए”।
इस व्यवस्था की असली परीक्षा यह है कि METR क्या छापती है, और क्या उसकी पहली रिपोर्ट उन रिपोर्टों से अलग पढ़ी जाती है जो Anthropic अपने बारे में ख़ुद लिखती है। घोषणा में यह नहीं बताया गया कि वह रिपोर्ट कब आएगी।
