ओपनएआई के नए कोडिंग परीक्षण में बीस भाषाएँ हैं, और उसका सबसे अच्छा मॉडल कोबोल में सबसे कमज़ोर है

दो मूल्यांकन, दोनों ओपनएआई के

ओपनएआई ने उन भाषाओं पर लक्षित दो कोडिंग मूल्यांकन और उनके परिणाम प्रकाशित किए हैं जिनके बारे में उसके ग्राहक कहते हैं कि मॉडल उन्हें ठीक से नहीं सँभालते। यह 19 अक्टूबर की एक शोध प्रविष्टि में आया। मल्टीलैंगबेंच किसी मॉडल से कहता है कि वह बीस नामित भाषाओं में से हर एक में शून्य से SQLite-संगत डेटाबेस इंजन बनाए। दूसरा मूल्यांकन उससे कहता है कि कोबोल कार्यक्रमों को दूसरी भाषा में बदले, बिना यह बदले कि वे क्या करते हैं।

नीचे का हर आँकड़ा ओपनएआई का है, ओपनएआई द्वारा अपने ही मॉडलों पर निकाला गया। मल्टीलैंगबेंच की व्यवस्था और परीक्षण-सूट गिटहब पर भाषा-वार परिणामों सहित जारी हुए हैं, इसलिए उसका पहला आधा हिस्सा जाँचा जा सकता है; अंक अब तक किसी और ने दोहराए नहीं हैं।

कोबोल सबसे नीचे है

अधिकतम तर्क-प्रयास पर ओपनएआई बताता है कि जीपीटी-6 एस्ट्रा बीस भाषाओं में औसतन 87.4% परीक्षण पास करता है, जबकि जीपीटी-5.6 सोल 26.8% पर है। कंपनी कहती है कि मॉडल बीस में से उन्नीस भाषाओं में 83% से ऊपर जाता है — और बीसवीं कोबोल है, 72.1% पर।

फिर भी यह शुरुआत से बड़ी छलाँग है। ओपनएआई जीपीटी-5.6 सोल को कोबोल पर 10.9% रखता है, यानी सुधार लगभग इकसठ अंक का है। दूसरी कम-संसाधन भाषाएँ और आगे बढ़ती हैं: फ़ोरट्रान 21.4% से 83.5%, ओकैमल 25.6% से 85.8%, विज़ुअल बेसिक 27.5% से 89.4%।

सस्ता मॉडल दूसरी कहानी कहता है। जीपीटी-6 लूना अधिकतम तर्क-प्रयास पर बीस भाषाओं में औसतन 40.3% पर रहता है — हर परखी गई भाषा में जीपीटी-5.6 सोल से बेहतर, पर एस्ट्रा से बहुत पीछे, और कोबोल में केवल 17.1%। बदले में वह क़ीमत ख़रीदता है: ओपनएआई का अनुमान है कि औसत एपीआई लागत प्रति नमूना 0.77 डॉलर है, जबकि जीपीटी-5.6 सोल के लिए 3.48 डॉलर — लगभग 78% कम।

माइग्रेशन परीक्षण लगभग ख़त्म है

दूसरा मूल्यांकन वह है जिसका व्यावहारिक मतलब है। वह कोबोल कार्यक्रमों को C++, जावा, कॉटलिन, पायथन या रस्ट में बदलने को कहता है, व्यवहार बनाए रखते हुए, और सख़्ती से जाँचा जाता है: छिपे परीक्षण दिखाई देने वाले आउटपुट में बाइट-दर-बाइट समानता माँगते हैं, और माइग्रेशन तभी गिना जाता है जब हर परीक्षण पास हो।

ओपनएआई जीपीटी-6.1 सोल को कम तर्क-प्रयास पर 86.6% शुद्धता देता है, जबकि उसी सेटिंग पर जीपीटी-5.6 सोल 5.4% पर है, और लागत एपीआई मूल्य के 61% पर। तर्क-प्रयास बढ़ाने पर शुद्धता 97.9% तक पहुँचती है — जिसे ओपनएआई ख़ुद मूल्यांकन को लगभग संतृप्त करना बताता है। 97.9% पर प्रकाशित परीक्षण में लगभग एक पीढ़ी की ही गुंजाइश बची रहती है।

सख़्त जाँच गणित की वजह से मायने रखती है। कोबोल का स्थिर-बिंदु गणित अतिरिक्त दशमलव अंक तब तक छोड़ देता है जब तक पूर्णांकन स्पष्ट रूप से न माँगा जाए, इसलिए पूर्णांकन करने वाला पुनर्लेखन बिना त्रुटि चलेगा और अलग वित्तीय परिणाम देगा। ओपनएआई कहता है कि इसे उत्पादन सॉफ़्टवेयर पर लगाने के लिए “अब भी विशेषज्ञ समीक्षा और सिस्टम के व्यापार-नियमों तथा निर्भरताओं के विरुद्ध परीक्षण चाहिए”।

ये भाषाएँ ही क्यों

ओपनएआई का तर्क है कि ये भाषाएँ वह ढाँचा उठाए हुए हैं जिसे कोई बंद नहीं कर सकता। बाहरी स्रोतों के हवाले से वह कहता है कि कोबोल 40% से अधिक ऑनलाइन बैंकिंग प्रणालियों, 80% आमने-सामने के कार्ड लेनदेन और 95% एटीएम लेनदेन को सँभालता है, और फ़ोरट्रान मौसम पूर्वानुमान तथा परमाणु रिएक्टर सुरक्षा विश्लेषण में काम आता है। कठिनाई, वह कहता है, यह है कि इन भाषाओं में सीखने के लिए कहीं कम कोड और दस्तावेज़ हैं, दस्तावेज़ अक्सर अधूरे हैं, मूल डेवलपर जा चुके हैं, और ज़रूरी व्यापार-नियम केवल कोड में बचे हैं।

क्या देखना है

इस रिलीज़ की असली परख शीर्षक का औसत नहीं, बल्कि यह है कि जब ओपनएआई के बाहर कोई मल्टीलैंगबेंच चलाएगा तो क्या होगा। सूट सार्वजनिक है, भाषा-वार परिणाम प्रकाशित हैं, और 87.4% औसत तथा कोबोल के 72.1% के बीच का फ़ासला इतना ठोस है कि जाँचा जा सके। दूसरी देखने लायक़ बात यह है कि जिस परीक्षण को उसके रचयिता ने ही 97.9% तक पहुँचा दिया है, उसे कठिन परीक्षण से बदला जाता है या चुपचाप हटा दिया जाता है।