चालीस प्रतिशत, जो लैब नहीं देख सकतीं

आर्टिफ़िशियल एनालिसिस ने 4 सितंबर को अपने इंटेलिजेंस इंडेक्स का संस्करण 4.2 प्रकाशित किया, और मुख्य बदलाव कोई अंक नहीं है। गुप्त रखे गए टेस्ट सेट अब सूचकांक के भार का 40 प्रतिशत हैं, संस्करण 4.1 से दोगुना। यह गुप्त हिस्सा AA-Briefcase, AA-Omniscience और CritPt के हलों से बना है, और कंपनी का कहना है कि संस्करण 5 में यह हिस्सा और बढ़ेगा।

तर्क सीधा है। सार्वजनिक परखों पर बना सूचकांक जान-बूझकर या प्रशिक्षण डेटा के दूषित होने से साधा जा सकता है, और जिस मॉडल ने व्यवहार में परचा देख लिया हो उसका मापन नहीं हो रहा। उत्तरों को गुप्त रखना ही किसी स्वतंत्र मूल्यांकनकर्ता का एकमात्र बचाव है।

कंपनी v4.2 को एक बीच की रिलीज़ बताती है, जो नियोजित संस्करण 5 के हिस्सों को पहले ले आती है ताकि सूचकांक अग्रिम पंक्ति के साथ चलता रहे।

क्या जुड़ा और क्या हटा

दो परखें जोड़ी गईं। AA-Briefcase कंपनी का अपना एजेंट आधारित ज्ञान-कार्य सेट है, जो उद्योग के विशेषज्ञों के साथ बहु-चरणीय यथार्थ परियोजनाओं पर बनाया गया है और कार्य की सफलता, विश्लेषणात्मक गुणवत्ता तथा प्रस्तुति पर रूब्रिक और युग्म-तुलना के मेल से आँका जाता है। सर्ज एआई का बनाया GDP.pdf दस क्षेत्रों की 100 पीडीएफ़ पर एक ही चरण में पेशेवर दस्तावेज़ी तर्क परखता है, जिसमें 4,592 पन्नों के पाठ, तालिकाओं, चार्ट, फ़ुटनोट और अपवादों में बिखरे प्रमाण जोड़ने पड़ते हैं।

बड़े मॉनिटर पर चार्ट देखती एक विश्लेषक
AA-Briefcase एजेंट आधारित काम को कार्य-सफलता, विश्लेषणात्मक गुणवत्ता और प्रस्तुति पर आँकता है। Leeloo The First · pexels · Pexels License

एक परख हटी। जीपीक्यूए डायमंड, स्नातकोत्तर स्तर के वैज्ञानिक तर्क का वह सेट जो दो साल से फ्रंटियर मॉडल कार्डों पर दिखता रहा है, हटा दिया गया — कंपनी उसे एक बेहतरीन परख बताती है जो अब संतृप्त हो चुकी है। साथ ही AA-LCR संस्करण 1.1 में गया, अपनी अलग ग्रेडिंग प्रॉम्प्ट और सुधारी गई उत्तर-कुंजियों के साथ, और GDPval-AA v2 तथा AA-Briefcase को बेहतर नमूनाकरण और नए सिरे से बाँधा गया एलो पैमाना मिला ताकि नए मॉडल आने पर अंक स्थिर रहें।

पुनर्निर्माण के बाद का क्रम

नए सूचकांक में ऐंथ्रोपिक का क्लॉड फ़ेबल 5.1 शीर्ष पर है। ओपनएआई का जीपीटी-6 एस्ट्रा दूसरे स्थान पर है, जिसे कंपनी ओपनएआई की पिछली प्रविष्टि से लगभग चार अंक की बढ़त बताती है। मेटा तीसरी प्रयोगशाला है, स्पेसएक्सएआई, मूनशॉट के किमी, ज़ेड.एआई और गूगल से आगे।

ये स्वतंत्र मापन हैं, कंपनियों के बताए आँकड़े नहीं: आर्टिफ़िशियल एनालिसिस हर परख ख़ुद मॉडलों के सार्वजनिक एपीआई से चलाती है। यही वजह है कि ऐसा आँकड़ा वज़न रखता है, जबकि किसी लैब की अपनी तालिका नहीं रखती।

मेज़ पर छपे हुए चार्ट और एक स्प्रेडशीट
संस्करण 4.2 के अंक 4.1 से तुलना योग्य नहीं हैं, क्योंकि घटक और भार बदल गए हैं। Max Vakhtbovych · pexels · Pexels License

यहाँ संस्करण संख्या क्यों मायने रखती है

एक नतीजा साफ़ कहा जाना चाहिए। चूँकि घटक और भार दोनों बदले हैं, v4.2 का अंक v4.1 के अंक से तुलना योग्य नहीं है। जो मॉडल दोनों संस्करणों के बीच आगे या पीछे दिखे, हो सकता है उसे बस अलग तरीक़े से मापा गया हो, और एक संतृप्त परख हटाने से पैमाने का ऊपरी सिरा यंत्रवत सिकुड़ जाता है।

नज़र संस्करण 5 पर रखनी होगी, जिसमें कंपनी के अनुसार गुप्त हिस्सा और बढ़ेगा। जो सौदा वह कर रही है वह है पारदर्शिता के बदले भरोसा: सूचकांक का जितना हिस्सा जनता नहीं देख सकती, उसे साधना उतना ही कठिन है — और जाँचना भी।