एक मॉडल, दो बार जारी

एंथ्रोपिक ने सोमवार को क्लॉड फेबल 5.2 और क्लॉड मिथोस 5.2 जारी किए, और कंपनी की घोषणा दोनों को “एक ही आधारभूत मॉडल” बताती है। उनमें अंतर इस बात का है कि कौन क्या करने से मना करता है। फेबल 5.2 सभी उपयोगकर्ताओं को मिलता है, उन सुरक्षा बाधाओं के साथ जिन्हें एंथ्रोपिक साइबर सुरक्षा और जीव विज्ञान के लिए मज़बूत बताती है। मिथोस 5.2 से उनमें से कुछ बाधाएँ हटा दी गई हैं, और उसकी पहुँच उन संस्थाओं तक सीमित है जिन्हें कंपनी ने अपने साइबर और जीवन विज्ञान सत्यापन कार्यक्रमों में शामिल किया है।

एंथ्रोपिक का कहना है कि यह जोड़ी कोडिंग, तर्क और दृष्टि में 5.1 पीढ़ी से बेहतर है और उत्तर 30% तक तेज़ी से देती है। कंपनी यह भी बताती है कि शुरुआती परीक्षणों में फेबल 5.2 ने फेबल 5.1 की तुलना में लगभग 55% कम अनुरोध रोके — साइबर सुरक्षा में करीब 60% कम और जीव विज्ञान में 40% कम।

इनमें से कोई भी मॉडल डिफ़ॉल्ट विकल्प के रूप में पेश नहीं किया जा रहा है। घोषणा अधिकांश कोडिंग और ज्ञान-कार्य के लिए क्लॉड ओपस 5.5 की सलाह देती है, और फेबल तथा मिथोस को उन कामों के लिए रखती है जिन्हें वह सबसे महत्वाकांक्षी खुले तकनीकी कार्य कहती है।

आँकड़े एंथ्रोपिक के अपने हैं

ईथरनेट केबल लगे एक नेटवर्क पैच पैनल
फेबल 5.2 एडब्ल्यूएस, गूगल क्लाउड और माइक्रोसॉफ्ट एज़्योर से दिया जाता है। उदाहरणात्मक स्टॉक तस्वीर। Brett Sayles · pexels · Pexels License

घोषणा में दिया हर आँकड़ा एंथ्रोपिक के अपने मूल्यांकनों से आता है, और विस्तृत ब्योरा मॉडल के सिस्टम कार्ड पर टाल दिया गया है। एजेंट-आधारित कोडिंग परीक्षण फ्रंटियरकोड 2.0 पर एंथ्रोपिक फेबल 5.2 को उच्चतम प्रयास स्तर पर 49.1% बताती है, जबकि फेबल 5.1 के लिए 32.4%, ओपस 5.5 के लिए 45.5%, ओपनएआई के जीपीटी-6 एस्ट्रा के लिए 42.8% और गूगल के जेमिनी 4 कार्बन के लिए मध्यम प्रयास पर 41.1%। फ्रंटियरएसडब्ल्यूई v2 पर वह 69.9% बताती है, जो पहले 56.3% था। रिमोट लेबर इंडेक्स पर वह 41.3% बताती है, जबकि फेबल 5.1 के लिए 17.9% था।

तुलनाएँ एक जैसी नहीं हैं। एंथ्रोपिक की अपनी तालिका में ऑटोमेशनबेंच पर जेमिनी 4 कार्बन फेबल 5.2 से आगे है, 53.9% बनाम 51.4%, और फेबल तथा ओपस के आँकड़े हमेशा एक ही प्रयास स्तर पर नहीं लिए गए हैं। एक पादटिप्पणी दर्ज करती है कि यूके एआई सिक्योरिटी इंस्टिट्यूट, फ्रंटियर डिज़ाइन और मेट्र ने रिलीज़ से पहले मॉडल का परीक्षण किया, लेकिन उन्होंने ब्लॉग पोस्ट या सिस्टम कार्ड की समीक्षा नहीं की और उनके दावों से आवश्यक रूप से सहमत नहीं हैं। एंथ्रोपिक ने अक्तूबर में मेट्र को कर्मचारी जैसी पहुँच दी थी।

क्षमता के सबसे ऊँचे आँकड़े उस संस्करण के हैं जिसे अधिकांश ग्राहक इस्तेमाल नहीं कर सकते। एंथ्रोपिक साइसिनारियोबेंच पर मिथोस 5.2 को 76.3% और सीवीई पुनः-खोज के एक आंतरिक मूल्यांकन में 89.6% बताती है, जहाँ कंपनी कहती है कि मॉडल ने ओपस 5.5 से 10.2% अधिक कमज़ोरियाँ खोजीं। प्रोटीन बाइंडर के 24 घंटे के डे नोवो डिज़ाइन कार्य पर वह 85.1% बताती है।

वैज्ञानिक दावे, और एक मॉडल जिसे परीक्षण का संदेह है

एंथ्रोपिक का कहना है कि लगभग 1,000 फेबल 5.2 एजेंटों की एक टीम ने फर्मा के अंतिम प्रमेय को लीन में 30 घंटे में औपचारिक रूप दिया, और उसी व्यवस्था में ओपस 5.5 केवल 26% तक पहुँचा। कंपनी बताती है कि मिथोस 5.2 ने जिन 34 एडिनो-सहचर विषाणु कैप्सिडों पर प्रयास किया उनमें से 28 का मॉडल बनाया, खुले फोल्डिंग मॉडलों को ज्ञात सममितियों के साथ मिलाकर, और फेबल 5.2 ने सर्किट-बोर्ड निर्माता डायोड के साथ मिलकर एक ही निर्देश से तीन काम करने वाले इलेक्ट्रॉनिक उपकरण डिज़ाइन किए। कृष्ण विवर की खुली समस्याओं पर दावा किए गए दो नतीजे प्रीप्रिंट के रूप में जोड़े गए हैं।

प्रयोगशाला के स्टैंड में रखी काँच की नमूना शीशियाँ
एंथ्रोपिक का कहना है कि मिथोस 5.2 ने प्रयास किए गए 34 विषाणु कैप्सिडों में से 28 का मॉडल बनाया। उदाहरणात्मक स्टॉक तस्वीर। Jess Loiterton · pexels · Pexels License

सुरक्षा के मोर्चे पर एंथ्रोपिक ऊँचे दाँव वाली स्थितियों में दिशा-भ्रम के जोखिम को कम आँकती है। लगभग 1,900 परिदृश्यों पर एक स्वचालित व्यवहार लेखा-परीक्षा में मिथोस 5.2 को 2.67 मिला, जहाँ कम बेहतर है, जबकि ओपस 5.5 को 2.79, सॉनेट 5.5 को 3.10 और मिथोस 5.1 को 3.28। एक अलग प्रतिकूल परीक्षण में मिथोस 5.2 ने 3.1% परिदृश्यों में बोए गए प्रमाण-पत्र या फ़ाइलें इस्तेमाल कीं, जो ओपस 5.5 के 3.3% के करीब और मिथोस 5 तथा मिथोस 5.1 के लिए दर्ज 39% और 21% से बहुत नीचे है।

घोषणा इन मॉडलों को मापने वालों के लिए एक दिक्कत भी दर्ज करती है: दोनों एंथ्रोपिक की हाल की रिलीज़ों से अधिक बार यह संदेह जताते हैं कि उनका मूल्यांकन किया जा रहा है।

कीमत और उपलब्धता

फेबल 5.2 की कीमत प्रति दस लाख इनपुट टोकन 8 डॉलर और प्रति दस लाख आउटपुट टोकन 40 डॉलर है, एपीआई पहचान claude-fable-5-2 के तहत, और यह एडब्ल्यूएस, गूगल क्लाउड तथा माइक्रोसॉफ्ट एज़्योर पर उपलब्ध है। टोकन 2.5 गुना तक तेज़ी से बनाने वाले फ़ास्ट मोड की कीमत 16 और 80 डॉलर है। एंथ्रोपिक ने संरक्षित चिंतन को सभी एपीआई खातों तक बढ़ाया है और कहती है कि डिस्टिलेशन के विरुद्ध नए संरक्षण निकाले गए डेटा में 90% से 99% तक कटौती करते हैं।

अगला पढ़ने योग्य दस्तावेज़ सिस्टम कार्ड है, और साथ ही यह सवाल कि तीनों बाहरी मूल्यांकनकर्ता उस मॉडल पर अपनी राय प्रकाशित करेंगे या नहीं जो कम मना करने के लिए बने संस्करण में उतारा गया है।