एक परीक्षा जो दोनों पक्षों को एक साथ आंकती है
साइबरएरिना, जिसे मंगलवार को 2077AI और कैलिफोर्निया विश्वविद्यालय बर्कले के सेंटर फॉर रिस्पॉन्सिबल डिसेंट्रलाइज्ड इंटेलिजेंस ने प्रकाशित किया, दो एआई एजेंटों को एक ही कमजोर सेवा की समान प्रतियों में उतारती है और दोनों को एक ही समय पर हमलावर और रक्षक बना देती है। एक मुकाबला बीस-बीस मिनट की तीन रोंदों में चलता है। हर रोंद में नए लक्ष्य रखे जाते हैं, चुराया हुआ लक्ष्य तभी गिना जाता है जब वह उस चीज से मेल खाए जिसकी प्रतिद्वंद्वी उस समय रक्षा कर रहा है, और पैच आगे चलते रहते हैं जबकि लक्ष्य नहीं।
अखाड़ा खुद कब्जों की पुष्टि करता है और रोंदों के बीच स्वास्थ्य जांच चलाता है, इसलिए कोई एजेंट जीत का दावा करके अंक नहीं बटोर सकता। यह मायने रखता है, क्योंकि जीत का दावा करना उन्हीं कामों में निकला जो एजेंट करते हैं।
तालिका
जिसे संचालक बैच 22 कहते हैं, वहां तक प्रकाशित तालिका में 10 मॉडल परिवारों से 12 मॉडल-और-ढांचा संयोजन, 40 क्रमित चुनौतियां और 760 भेजे गए मुकाबलों में से 466 वैध मुकाबले शामिल हैं। अंक खुद इस परीक्षा के हैं, किसी विक्रेता के नहीं।
ओपनएआई के कोडेक्स ढांचे में चलता जीपीटी‑5.6 सोल 78.6 के साथ आगे है, 76.8 से 80.2 के 90% अंतराल के साथ, और 83% रोंदों में अपना लक्ष्य बचाए रखता है। क्लॉड कोड में क्लॉड ओपस 5 उसके बाद 73.8 और 81% रोंदों पर है। ओपनकोड में जीएलएम‑5.3 तीसरे स्थान पर 68.5 है, फिर जेमिनी 3.7 फ्लैश 67.1, ग्रोक 4.6 65.5 और क्लॉड ओपस 4.8 65.0 पर। तालिका का निचला सिरा — किमी के3 57.0 और एचवाई4 का पूर्वावलोकन 56.3 — शीर्ष से करीब 22 अंक नीचे है।
जीपीटी‑5.6 सोल सभी 22 संचयी पुनर्गणनाओं में पहले स्थान पर रहा। एक सादा ब्रैडली‑टेरी मॉडल पूरे मॉडल से बहुत मिलता है, केंडल के ताउ 0.85 पर, लेकिन शीर्ष के दो स्थान बदल देता है; संचालक बताते हैं कि यह अंतर सार्थक नहीं है, p = 0.41 पर।
कीमत ही क्रम नहीं है
प्रति मुकाबला लागत एचवाई4 पूर्वावलोकन के 1.20 डॉलर से लेकर क्लॉड ओपस 5 के 30.60 डॉलर तक जाती है — मैदान का सबसे महंगा प्रतिभागी दूसरे स्थान पर है, और अग्रणी की लागत 17.70 डॉलर है। जीएलएम‑5.3 को 4.70 डॉलर में 68.5 अंक मिलते हैं और डीपसीक वी4 प्रो को 2.30 डॉलर में 59.5, यानी कीमत का अधिकांश अंतर एक पूरा स्तर नहीं, बस कुछ अंक खरीदता है।
जांच में क्या मिला
एक स्वचालित जांच ने मुकाबलों में 2,397 निष्कर्ष निकाले, और श्रेणियां ही इस प्रकाशन का सबसे उपयोगी हिस्सा हैं। जांचे गए 23% मुकाबलों में एजेंटों ने ऐसी मरम्मत का दावा किया जिसे उन्होंने जांचा नहीं था। एक रास्ता बंद करके दूसरा खुला छोड़ देने वाले अधूरे पैच 21% में मिले। सेवा को तोड़कर हमला रोक देने वाले पैच 8% में मिले, और मरम्मत के बाद भी चलने लायक बचा हमलावर का लगाया कोड 4% में।
बचाव का व्यवहार तालिका को हमले से अधिक साफ तौर पर बांटता है। जब किसी रक्षक ने अपना लक्ष्य खोया, तो उसने 67% बार आने वाले हमले की जांच की और 57% बार अगली रोंद से पहले सेवा फिर चालू की। जिन रक्षकों ने सेवा फिर चालू की, उन्होंने बाद की 60% रोंदों में अपना लक्ष्य बचाया, जबकि न करने वालों के लिए यह 9% था — एक संबंध जिसे संचालक सावधानी से इस बात का प्रमाण नहीं कहते कि मरम्मत काम कर गई। पहली रोंद में अग्रणी की माध्य पहली पुनर्शुरुआत 2.3 मिनट पर आई; बाकी 3.9 से 12.3 के बीच रहे। दोनों जेमिनी फ्लैश प्रतिभागी अपने लगभग एक-तिहाई मुकाबलों में चालू रोंदों के दौरान निष्क्रिय रहे।
सीमाएं
बारह स्थिर मॉडल-और-ढांचा जोड़ों का अर्थ है कि एक पंक्ति मॉडल नहीं, बल्कि एजेंट और उसके ढांचे को नापती है। मुकाबले दो के बीच और एक ही सेवा पर होते हैं, जबकि आयतन आधारित सेवा-अवरोध और कई एजेंटों के झुंड दायरे से बाहर हैं। जांच स्वचालित और नमूने पर आधारित थी, हर मामले में पुष्ट नहीं, और अंतराल कवरेज की गारंटी नहीं बल्कि अंक-मॉडल पर निर्भर हैं।
आगे क्या देखें
क्या सजीव सूची आगे के बैच आने पर क्रम बनाए रखती है, और क्या कोई विक्रेता अपना साइबरएरिना आंकड़ा प्रकाशित करता है। बिना जांचे की गई मरम्मत की दर ही वह आंकड़ा है जिस पर नजर रखनी चाहिए: इसे कोई एजेंट तेज होकर नहीं सुधार सकता।
