नौ मूल्यांकन, चार बराबर हिस्से
आर्टिफ़िशियल एनालिसिस ने 27 अक्तूबर को अपना इंटेलिजेंस इंडेक्स दोबारा बनाया। संस्करण 5 में नौ मूल्यांकन चार श्रेणियों में चलते हैं, हर श्रेणी का भार 25 प्रतिशत: ज्ञान कार्य, कोडिंग, विज्ञान और सामान्य क्षमता।
ज्ञान कार्य में एए-ब्रीफ़केस 15 प्रतिशत, ऑटोमेशनबेंच-एए 5 प्रतिशत और जीडीपी.पीडीएफ़ 5 प्रतिशत है। कोडिंग में फ़्रंटियरकोड 2.0 15 प्रतिशत और टर्मिनल-बेंच 4.0 10 प्रतिशत है। विज्ञान में टर्मिनल-बेंच-साइंस 15 प्रतिशत और क्रिटपीटी v2 का कठिन उपसमुच्चय 10 प्रतिशत है। सामान्य हिस्से में एए-ऑम्निसाइंस v1.1 15 प्रतिशत है, जो स्वयं 10 प्रतिशत सटीकता और 5 प्रतिशत भ्रम-रहितता में बँटा है, और एचएलई-डायमंड 10 प्रतिशत।
दो मूल्यांकन नए हैं: फ़्रंटियरकोड 2.0, कॉग्निशन का एक निजी कोडिंग परीक्षण, और टर्मिनल-बेंच-साइंस, 70 एजेंट आधारित वैज्ञानिक शोध कार्य। तीन उन्नयन हैं — एचएलई-डायमंड ह्यूमैनिटीज़ लास्ट एग्ज़ाम की जगह 1,000 प्रश्नों का परिष्कृत संस्करण लाता है, एए-ऑम्निसाइंस v1.1 संतृप्त और सार्वजनिक प्रश्न हटाकर अस्पष्ट प्रश्नों को सुधारता है, और क्रिटपीटी v2 40 प्रश्नों का निजी कठिन उपसमुच्चय देता है। तीन हटा दिए गए: जीडीपीवैल-एए v2.1, साइकोड और एए-एलसीआर v1.1। आर्टिफ़िशियल एनालिसिस इन हटाने के कारण नहीं बताता।
अब साठ प्रतिशत अंक सार्वजनिक नहीं हैं
ढाँचागत बदलाव यह है कि सूचकांक का 60 प्रतिशत अब निजी परीक्षण समुच्चयों या रोके गए उत्तरों पर टिका है। आर्टिफ़िशियल एनालिसिस फ़्रंटियरकोड 2.0 और क्रिटपीटी v2 के कठिन उपसमुच्चय को स्पष्ट रूप से निजी बताता है, और कहता है कि एए-ऑम्निसाइंस एक निजी समुच्चय रखता है जिसका अलग सार्वजनिक उपसमुच्चय हगिंग फ़ेस पर जारी है। बाकी 60 प्रतिशत किन मूल्यांकनों से बनता है, यह नहीं बताया गया।
ऐसा करने का कारण संदूषण है: जिस परीक्षण के प्रश्न सार्वजनिक इंटरनेट पर हैं, वे अंततः प्रशिक्षण डेटा में पहुँच जाते हैं, और उसका अंक वह मापना बंद कर देता है जिसके लिए वह बना था। क़ीमत यह है कि जिस अंक को मूल्यांकनकर्ता के बाहर कोई दोहरा नहीं सकता, उसे भरोसे पर लेना पड़ता है।
खुले भार वाले मॉडलों का अंतर 3 से बढ़कर 12 अंक
रैंकिंग पर असर असमान है। संस्करण 4.3 में सबसे अच्छा खुले भार वाला मॉडल शीर्ष से 3 अंक पीछे था। संस्करण 5 में यह अंतर 12 है।
मूनशॉट का किमी K3.1 प्रो 46 अंकों के साथ खुले भार वालों में सबसे आगे है — और उसके भार अब तक जारी ही नहीं हुए हैं। जिन मॉडलों के भार जारी हैं, उनमें अधिकतम तर्क पर डीपसीक V4.1 फ़्लैश 1017 और अधिकतम तर्क पर जीएलएम-5.3 32 अंकों के साथ आगे हैं, यानी तालिका के शीर्ष से 26 अंक पीछे। एंथ्रोपिक का अपना छोटा मॉडल, अधिकतम तर्क पर क्लॉड हाइकु 5.5, 36 अंक लेकर दोनों से ऊपर है।
तालिका का शीर्ष, एक दिन के लिए
प्रकाशन के समय सूचकांक में अधिकतम तर्क पर क्लॉड ओपस 5.5 को 58, अधिकतम पर जीपीटी-6 एस्ट्रा को 57 और अधिकतम पर जीपीटी-6.1 सोल को 55 अंक थे, एंथ्रोपिक और ओपनएआई के पास शीर्ष पाँचों स्थान थे, और उसके बाद उच्च तर्क पर जेमिनी 4 आर्गन 50 अंकों पर था।
यह एक दिन चला। गूगल ने 28 अक्तूबर को जेमिनी 4 कार्बन जारी किया और आर्टिफ़िशियल एनालिसिस ने उसे 59 अंक दिए, नए सूचकांक में पहला स्थान।
आगे क्या देखना है
जिस आँकड़े पर नज़र रखनी चाहिए वह अंतर है, शीर्ष नहीं। ज़्यादातर उन परीक्षणों पर मापा गया 12 अंकों का फ़ासला, जिन्हें खुले भार वाला समुदाय स्वयं चला ही नहीं सकता, सार्वजनिक परीक्षणों पर 3 अंकों के फ़ासले से अलग तरह का दावा है, और संस्करण 5 के तहत आँका गया पहला ऐसा खुले भार वाला मॉडल, जिसके भार सचमुच प्रकाशित हों, बताएगा कि यह अंतर मॉडलों का गुण है या माप का।
