उस अव्यवस्था से बना परीक्षण जो प्रयोगशाला असल में पैदा करती है
ओपनएआई ने बायोबेसिक्सबेंच प्रकाशित किया है, 100 कार्यों का एक समूह जो एआई एजेंटों से कहता है कि वे उस कच्चे प्रमाण की व्याख्या करें जो एक प्रयोगशाला वैज्ञानिक एक कार्यदिवस में तैयार करता है — जेल की तस्वीरें, अगार प्लेटें, सूक्ष्मदर्शी छवियों के ढेर, उपकरणों की स्क्रीनें — और बताएँ कि वह प्रमाण किस निष्कर्ष का समर्थन करता है, और यह भी कि कब वह किसी का समर्थन नहीं करता। ओपनएआई द्वारा प्रकाशित उच्चतम तर्क-स्तर पर, जिस पर सभी परीक्षित मॉडल चलाए गए, जीपीटी‑6 एस्ट्रा ने उपलब्ध अंकों में से 66.7% पाए, जबकि जीपीटी‑5.6 सोल को 43.8% मिले।
यह परीक्षण लिगो के साथ बनाया गया, एक जैव प्रौद्योगिकी कंपनी जो एंज़ाइम डिज़ाइन पर काम करती है, और लिगो के वैज्ञानिकों ने ये कार्य अपने ही प्रयोगों से लिखे। ओपनएआई का तर्क है कि मौजूदा परीक्षण उन आकृतियों और छवियों से बनाए जाते हैं जिन्हें शोधपत्रों में प्रकाशन के लिए चुना गया था, और इससे वे असफल प्रयोग, अस्पष्ट छवियाँ और परस्पर विरोधी अवलोकन छूट जाते हैं जिनसे एक चालू प्रयोगशाला भरी रहती है।
कार्यों में क्या है
ये कार्य पाँच क्षेत्रों में फैले हैं: प्रोटीन विधियाँ, इमेजिंग और साइटोमेट्री, मात्रा-निर्धारण और परीक्षण, न्यूक्लिक अम्ल विधियाँ, तथा आण्विक क्लोनिंग। जेल और ब्लॉट उनमें से 31 में आते हैं, प्रोटोकॉल और प्रयोगशाला नोट 27 में, उपकरणों से निकाले गए आँकड़े और तालिकाएँ 20 में, और बेंच, स्टैंड तथा अभिकर्मकों की तस्वीरें 18 में। सूक्ष्मदर्शी 14 में है, अनुक्रमण फाइलें 12 में, और सात कार्य बेंच पर किए काम के वीडियो हैं: प्लेट पर लकीर खींचना, वैद्युतकणसंचलन की टंकी लगाना, तराजू पर तोलना।
हर कार्य के साथ उस वैज्ञानिक द्वारा लिखी मूल्यांकन-सूची है जिसने उसे बनाया, इसलिए अंक मानदंड-दर-मानदंड दिए जाते हैं, केवल अंतिम उत्तर पर नहीं। यही परीक्षण को सही निष्कर्ष और आंशिक रूप से सही विश्लेषण के बीच अंतर करने देता है। हर कार्य की समीक्षा पहले लिगो के एक ऐसे वैज्ञानिक ने की जिसने उसे नहीं लिखा था, फिर बाहर से प्रयोगशाला में कार्यरत एक पीएचडी-स्तरीय वैज्ञानिक ने, और फिर एक बार और भीतर से।
अंक, और तालिका में कौन है
ओपनएआई ने सात मॉडलों का मूल्यांकन किया — जीपीटी‑5.2, जीपीटी‑5.4, जीपीटी‑5.5, जीपीटी‑5.6 सोल, जीपीटी‑6.1 सोल, जीपीटी‑6 लूना और जीपीटी‑6 एस्ट्रा — मॉडल तथा तर्क-प्रयास के 37 संयोजनों में, 100 कार्यों में से हर एक पर पाँच प्रयास, कुल 18,500 परिणाम। xhigh स्तर पर क्रम है: एस्ट्रा 66.7%, जीपीटी‑6.1 सोल 62.0%, जीपीटी‑5.6 सोल 43.8%, जीपीटी‑6 लूना 38.3%, जीपीटी‑5.5 35.4%, जीपीटी‑5.4 33.2% और जीपीटी‑5.2 31.2%। विश्वास-अंतराल चौड़े हैं: एस्ट्रा का 95% अंतराल 60.3% से 73.1% तक जाता है और जीपीटी‑6.1 सोल के अंतराल से मिल जाता है।
उस तालिका का हर मॉडल ओपनएआई का है। परीक्षण ओपनएआई का है, कार्य ओपनएआई ने करवाए, और उस पर कोई प्रतिस्पर्धी प्रणाली नहीं चलाई गई। ये आँकड़े एक ही विक्रेता की श्रेणी के भीतर की गति बताते हैं, प्रयोगशालाओं के बीच की वरीयता नहीं।
टोकन की गिनती अंकों से उलटी दिशा में चलती है। एस्ट्रा ने प्रति कार्य औसतन 4,704 आउटपुट टोकन पर 66.7% पाए, जबकि जीपीटी‑5.2 ने 31.2% तक पहुँचने में 27,620 टोकन खर्च किए।
सबसे अच्छा मॉडल अब भी कहाँ चूकता है
ओपनएआई का लेख एस्ट्रा की गलतियों के बारे में असामान्य रूप से सीधा है। कॉलोनी पीसीआर के एक कार्य में उसने बैंडों का समूहन सही किया, पर हर समूह को गलत प्रयोगात्मक पहचान दी, क्योंकि उसने मान लिया कि बड़ा उत्पाद सफल क्लोन दर्शाता है: उसने कॉलोनी 4, 6, 7 और 8 सुझाईं जहाँ संदर्भ 5, 9 और 10 चुनता है — एक चूक जो गलत प्लास्मिड को शुद्धिकरण के लिए आगे भेज देती। प्लेट पर कॉलोनियाँ गिनने को कहा गया तो वह पास-पास की कॉलोनियाँ अलग नहीं कर सकी, दिखती कॉलोनियाँ छोड़ दीं, खाली अगार पर निशान लगाए, और लगभग 12% अधिक गिन लिया। सूक्ष्मदर्शी के एक कार्य में उसने देखा कि कंट्रास्ट फोकस की गहराई के साथ बदलता है, फिर यह अवलोकन छोड़ दिया और निष्कर्ष निकाला कि रिक्तिकाएँ आम तौर पर आसपास की कोशिका से गहरी होती हैं, जबकि हल्की रिक्तिकाएँ उसी दृश्य-क्षेत्र में थीं।
सफलताएँ भी उसी तरह की हैं जैसी चूकें। एस्ट्रा ने ऋणात्मक नियंत्रण प्लेट को किनारे पर लिखा “LB Kan50” पढ़कर अस्वीकार किया — कैनामाइसिन, वह एम्पिसिलिन नहीं जो प्रयोग में इस्तेमाल हुआ था — और सूक्ष्मदर्शी छवियों की एक श्रृंखला को गहराई-स्कैन के रूप में पहचाना, जहाँ जीपीटी‑5.6 सोल कोशिकाओं के गायब होने का जैविक कारण खोज रहा था।
आगे क्या देखना है
ओपनएआई कहता है कि यह सुधार अधिक तर्क के बजाय मज़बूत अंतर्निहित बहु-माध्यमी क्षमता की ओर संकेत करता है। इस व्याख्या की परीक्षा यह है कि ओपनएआई के बाहर कोई इस परीक्षण को चलाता है या नहीं। जब तक तालिका में कोई प्रतिस्पर्धी मॉडल नहीं आता, 66.7% एस्ट्रा के बारे में एक आँकड़ा है, तकनीक की अग्रिम सीमा के बारे में नहीं।
