एक स्वतंत्र सूचकांक में मामूली बढ़त
गूगल ने 28 अक्तूबर को जेमिनी 4 कार्बन पेश किया, जेमिनी 4 आर्गन के दो हफ़्ते बाद, और इसे अपना सबसे सक्षम मॉडल बताया, जिसमें साइबर सुरक्षा, कोडिंग और लंबे एजेंट कार्यों में सबसे बड़ा सुधार है। स्वतंत्र मूल्यांकनकर्ता आर्टिफ़िशियल एनालिसिस ने इसे अपने इंटेलिजेंस इंडेक्स v5 में 59 अंक दिए, क्लॉड ओपस 5.5 के 58 और जीपीटी-6 एस्ट्रा के 57 से आगे, और आर्गन के 50 से नौ अंक ऊपर।
एक अंक की यह बढ़त समान रूप से फैली नहीं है। आर्टिफ़िशियल एनालिसिस कार्बन को सूचकांक के नौ मूल्यांकनों में से चार में पहले स्थान पर रखता है — एचएलई-डायमंड, टर्मिनल-बेंच-साइंस, एए-ऑम्निसाइंस और ऑटोमेशनबेंच-एए — और अपने अलग कोडिंग एजेंट इंडेक्स में दूसरे स्थान पर, जहाँ गूगल की एंटीग्रैविटी सीएलआई में चलने वाले कार्बन को 59 अंक मिले, जबकि क्लॉड ओपस 5.5 के साथ क्लॉड कोड को 62। उसी मूल्यांकनकर्ता के लागत हिसाब के अनुसार, कार्बन की एक कार्य-इकाई पर 7.76 डॉलर लगते हैं, ओपस 5.5 पर 10.04 और जीपीटी-6 एस्ट्रा पर 6.25।
सबसे स्पष्ट अदला-बदली एए-ऑम्निसाइंस v1.1 में दिखती है, जो सूचकांक की ज्ञान और ईमानदारी की परीक्षा है। कार्बन की सटीकता आर्गन के 48 प्रतिशत से बढ़कर 58 प्रतिशत हो गई, और उसके साथ उसकी भ्रम-दर भी 4 से 11 प्रतिशत हो गई। आर्टिफ़िशियल एनालिसिस फिर भी इसे अपनी मापी गई दूसरी सबसे कम भ्रम-दर मानता है, केवल आर्गन के बाद, और क्लॉड ओपस 5.5 तथा जीपीटी-6 एस्ट्रा के लिए दर्ज 50 प्रतिशत से बहुत कम।
साइबर सुरक्षा के आंकड़े गूगल के अपने हैं
गूगल जिन नतीजों से शुरुआत करता है, वे उसके स्वयं बताए हुए हैं। कोरे कावुकचुग्लू के नाम से जारी अपनी घोषणा में गूगल कहता है कि कमज़ोरियाँ खोजने में कार्बन को सेक-बेंच प्रो पर 88.2 प्रतिशत, उनका उपयोग करने में एक्सप्लॉइटजिम पर 54.8 प्रतिशत और मूल कारण ठीक करने में सीडब्ल्यूई-बेंच पर 71.0 प्रतिशत मिले — आर्गन के 83.4, 42.0 और 68.0 प्रतिशत के मुक़ाबले। गूगल का कहना है कि यह काम सुरक्षा-अवरोधों के बिना चलाया गया, कि भीतर कार्बन सुरक्षित कोड में आर्गन की सफलता-दर से दोगुने से अधिक है, और क्रोम इंजीनियरों ने उसकी पैच गुणवत्ता एक अनाम प्रतिस्पर्धी प्रयोगशाला के अग्रणी मॉडल से दस गुना अधिक मापी। इन तीनों दावों की कोई स्वतंत्र पुष्टि अभी नहीं है।
गूगल अपनी सुरक्षा जाँचों में भी बदलाव बताता है: बिना आधार वाले दावे आर्गन की तुलना में लगभग आधे रह गए, आंतरिक कोडिंग परिवेशों में गंभीर असंगति चेतावनियाँ करीब 80 प्रतिशत घटीं, और ग्रे स्वान की अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन परीक्षा में हमले की सफलता-दर 0.0 प्रतिशत है, आर्गन के 0.7 के मुक़ाबले। टर्मिनल-बेंच 4.0 पर गूगल कहता है कि सफल चालबाज़ी 0.0 प्रतिशत और प्रयास 0.4 प्रतिशत रह गए।
इसे लगभग कोई इस्तेमाल नहीं कर सकता
उपलब्धता ही सामान्य अग्रणी मॉडल लॉन्च से सबसे तीखा अंतर है। गूगल कहता है कि पहुँच इस हफ़्ते कुछ साइबर रक्षकों से शुरू होती है और फ़ेयरविंड कार्यक्रम के ज़रिए भरोसेमंद साझेदारों तक बढ़ती है, जबकि डेवलपर, कारोबार और उपभोक्ता इसे बाद में, “जितनी जल्दी संभव हो”, पाएँगे, किसी तारीख़ के बिना। आर्टिफ़िशियल एनालिसिस दर्ज करता है कि मॉडल का कोई सार्वजनिक एपीआई नहीं है। आर्गन इसके विपरीत 13 अक्तूबर से सबके लिए उपलब्ध है।
कीमतें फिर भी प्रकाशित हैं। परिचयात्मक अवधि में कार्बन के लिए प्रति दस लाख इनपुट टोकन 2 डॉलर और प्रति दस लाख आउटपुट 10 डॉलर लगते हैं, वही दरें जिनसे आर्गन शुरू हुआ था, और उसके बाद 4 और 20 डॉलर, कैश किए इनपुट पर 95 प्रतिशत छूट के साथ। संदर्भ खिड़की दस लाख टोकन की है।
आगे क्या देखना है
गूगल कहता है कि कार्बन अमेरिकी सरकार की स्वैच्छिक पूर्व-रिलीज़ परीक्षण प्रक्रिया में शामिल है। अगली ठोस तारीख़ें परिचयात्मक कीमतों का अंत हैं — आर्गन की 30 नवंबर तक चलती है — और वह बिंदु जब फ़ेयरविंड पहुँच इतनी खुल जाए कि गूगल की स्वीकृत सूची से बाहर कोई इस लॉन्च के आधार बने साइबर सुरक्षा आंकड़ों को दोहराने की कोशिश कर सके।
