पचास सवाल, जो किसी ने छापे ही नहीं थे
भौतिकविदों के एक समूह ने शोध-स्तर के 50 ऐसे सैद्धांतिक भौतिकी सवालों से एक बेंचमार्क बनाया है जो कभी प्रकाशित नहीं हुए, हर सवाल का उत्तर जाँचा जा सकता है, और पाँच व्यावसायिक एआई एजेंटों को बिना किसी मानवीय संकेत के उन पर लगाया। यह शोधपत्र, TheoPhysEval, 9 अक्टूबर को arXiv पर रखा गया। लेखकों का कहना है कि संबंधित विशेषज्ञता का कोई विश्व-स्तरीय विशेषज्ञ ऐसा एक सवाल आमतौर पर एक दिन या उससे कम में हल कर लेगा, जबकि पड़ोसी क्षेत्र के विशेषज्ञ को काफ़ी अधिक समय लगेगा।
यहाँ नतीजों से ज़्यादा अहम बनावट है। सवाल ख़ुद लेखकों के अप्रकाशित काम से लिए गए, और यही एकमात्र भरोसेमंद तरीक़ा है यह पक्का करने का कि किसी मॉडल ने उत्तर पहले से पढ़ न रखा हो। ये सवाल चिरसम्मत भौतिकी, स्टोकैस्टिक प्रक्रियाओं और जैव-भौतिकी, असंतुलन सांख्यिकीय यांत्रिकी, लैटिस सिद्धांतों, पदार्थ की क्वांटम अवस्थाओं, इलेक्ट्रॉनिक संरचना सिद्धांत और क्वांटम क्षेत्र सिद्धांत तक फैले हैं।
नतीजे
हर एजेंट को दो पटरियों पर चलाया गया: एक यथार्थवादी, जिसमें साहित्य खोज और स्क्रिप्ट लिखकर चलाने की सुविधा थी, और एक अलग-थलग, जिसमें इंटरनेट बिल्कुल नहीं था। यथार्थवादी पटरी पर Codex में चल रहे GPT-6-Astra ने 50 में से 49 हल किए। Claude Code CLI में Claude Opus 5.5 ने 46 हल किए। Antigravity में Gemini 3.8 Flash ने 34, और खुले वेट वाले दो मॉडल DeepSeek-V4.1-Flash तथा GLM 5.3 ने क्रमशः 27 और 21 हल किए।
लागत भी नतीजों जितनी ही चौंकाने वाली है। लेखकों के अनुमान में यथार्थवादी पटरी पर Astra की पूरी दौड़ पर 116.28 डॉलर लगे, यानी प्रति सवाल लगभग 2.33 डॉलर, जबकि Opus पर 240.43 और DeepSeek पर 37.42 डॉलर। GLM की दौड़ एक कोडिंग प्लान से चली, जिसकी असल लागत दोनों पटरियों के लिए 180 डॉलर रही; API दरों पर यह 311.71 और 371.46 डॉलर होती।
साहित्य छीनने से शायद ही फ़र्क़ पड़ा
लेखक जिस नतीजे पर सबसे ज़्यादा ठहरते हैं वह अलग-थलग पटरी है। Astra और Opus दोनों ने बिना किसी इंटरनेट के 50 में से 46 हल किए — Astra के लिए तीन कम, Opus के लिए बिल्कुल उतने ही। Gemini को 31, GLM को 26 और DeepSeek को 25 मिले। इनमें से कई सवालों के लिए ख़ास शोधपत्रों के ख़ास सूत्र और संकेतन चाहिए, और लेखक लिखते हैं कि कोई इंसान पृष्ठभूमि शोधपत्र देखे बिना इनमें से कुछ पर हाथ भी नहीं डाल सकता। मॉडल डाल सकते हैं — यह, शोधपत्र के शब्दों में, भौतिकी के शोध साहित्य के बड़े पैमाने पर याद होने का संकेत देता है।
यथार्थवादी पटरी पर Astra जिस एक सवाल में चूका वह एक व्युत्क्रम सवाल था — दिए गए वक्र से अवकल समीकरण निकालना — और उसे कोई भी मॉडल हल नहीं कर सका। बाक़ी हर एजेंट ने जो कुछ सही किया, वह Astra के सही उत्तरों का ही उपसमुच्चय था।
लेखक ख़ुद किन बातों से आगाह करते हैं
दो चेतावनियाँ शोधपत्र के भीतर से ही आती हैं। हर एजेंट हर पटरी पर एक ही बार चलाया गया, इसलिए यथार्थवादी और अलग-थलग पटरी का अंतर मूल्यांकन की सांख्यिकीय अनिश्चितता के भीतर है। और लेखकों ने पहले कई सवालों में Astra को ग़लत माना था, फिर पाया कि उनके अपने संदर्भ-हलों में बारीक़ त्रुटियाँ थीं; विशेषज्ञों द्वारा सुधारे जाने के बाद Astra के उत्तर हर बार सही निकले।
यहाँ सफलता दर सैद्धांतिक भौतिकी के दूसरे बेंचमार्कों से ऊँची है, जिसे लेखक ख़ुद दर्ज करते हैं और कहते हैं कि इसकी व्याख्या होनी चाहिए: जाँचने पर वे अपने सवालों को अधिक उन्नत मानते हैं, और हाल के उस काम की ओर इशारा करते हैं जिसके अनुसार कुछ भौतिकी बेंचमार्कों की जाँच ही ग़लत होती है। डेटासेट प्रकाशित है, इसलिए यह अंतर भरोसे का नहीं, जाँच का विषय है।
