एक एजेंट जो खेलते-खेलते नियम लिखता जाता है
यूनिवर्सिटी कॉलेज लंदन, ब्रिटेन में Huawei के Noah’s Ark Lab और यूनिवर्सिटी ऑफ़ लिवरपूल के शोधकर्ताओं ने एक शोधपत्र प्रकाशित किया है जिसमें ऐसे एजेंट का विवरण है जो ARC-AGI-3 के सभी 25 सार्वजनिक खेलों का हर स्तर पार कर लेता है — और यह काम इंसानी खिलाड़ी की 44 प्रतिशत चालों में करता है। ARC-AGI-3 ARC परीक्षण का संवादात्मक रूप है। शोधपत्र 8 अक्टूबर को arXiv पर रखा गया।
ARC-AGI-3 एजेंट को बिना किसी निर्देश के एक ग्रिड-खेल में छोड़ देता है। उसे न लक्ष्य बताया जाता है, न नियंत्रण, न नियम, और वह परिवेश का सोर्स कोड भी नहीं पढ़ सकता। यह सब उसे खेलकर ही निकालना होता है। अंक Relative Human Action Efficiency या RHAE के रूप में दिए जाते हैं, जो हर स्तर को इंसानी आधार की चालों के अनुपात में तोलता है और जिसकी अधिकतम सीमा 100 है।
Memento 3 नाम का यह एजेंट उसी सीमा तक पहुँचता है: सभी 25 खेलों और उनके 183 स्तरों पर औसत RHAE 100.0। नतीजे की असामान्य बात यह है कि नीचे चल रहा भाषा मॉडल कभी बदलता नहीं। लेखक इस प्रणाली को Claude Code में Claude Opus 5 के साथ चलाते हैं, तर्क-प्रयास को अतिरिक्त-उच्च पर रखते हैं, और वज़न पूरे समय जमे रहते हैं।
सीखना वज़न में नहीं, एक फ़ाइल में होता है
प्रशिक्षण के बजाय एजेंट एक नियम-पुस्तिका रखता है: सामान्य भाषा में लिखा दस्तावेज़ जिसमें वह दर्ज करता है कि परिवेश के काम करने के तरीके के बारे में वह इस समय क्या मानता है, और जो हिस्से उसने समझे नहीं हैं उन्हें जानबूझकर अस्पष्ट छोड़ देता है। इसके बाद वह उस पुस्तिका को चलने योग्य Python में बदलता है और उस प्रोग्राम से अनुमान लगाता है कि खेल आगे क्या करेगा।
जब कोई अनुमान ग़लत निकलता है, एजेंट नियम-पुस्तिका सुधारता है और कोड फिर से बनाता है। सुधार दो ही शर्तों पर स्वीकार होता है: मॉडल को नया कोड पुस्तिका के अनुरूप लगना चाहिए, और खेल में जो वास्तव में हुआ उसकी सेल-दर-सेल पुनरावृत्ति देखे गए बदलावों को दोहराने में सक्षम होनी चाहिए। पूरा कार्यक्षेत्र — पुस्तिका और बना हुआ कोड — एक Git रिपॉज़िटरी में रहता है, हर चक्र के बाद कमिट और टैग किया जाता है, और इसी तरह एजेंट किसी ऐसी परिकल्पना को वापस ले सकता है जिसे आगे का स्तर ग़लत साबित कर दे। लेखक इसे पुनरावर्ती आत्म-सुधार तक पहुँचने का मॉडल-आधारित रास्ता बताते हैं, और एक ऐसा विस्तार भी बताते हैं जो कई प्रतिस्पर्धी विश्व-मॉडल साथ-साथ चलाता है और उनके बीच प्रमाण साझा करता है।
ईमानदार तुलना चालों की गिनती है
अधिकतम अंक लापरवाह सुर्ख़ी को न्योता देते हैं, इसलिए यह साफ़ करना ज़रूरी है कि नया क्या है। Memento 3 ARC-AGI-3 के सभी सार्वजनिक खेल पूरे करने वाला पहला सिस्टम नहीं है। शोधपत्र की ही तुलना-तालिका में सबसे नज़दीकी प्रविष्टि baseline1 को 99.0 मिले और उसने भी सभी 25 खेल पूरे किए। उसके बाद अंतर बढ़ जाता है: NOOA 85.1 पर 19 खेल, OPINE-World 78.4 पर 20, DreamTeam 38.1 पर 6 और Continual Harness 20.5 पर 3।
फ़र्क़ दक्षता में खुलता है। Memento 3 पूरा सेट 7,518 चालों में निपटाता है, जबकि baseline1 को 8,347 लगीं और इंसानी आधार 17,135 था — अनुपात 0.44। खेल-दर-खेल यह अनुपात 0.20 से 0.67 तक जाता है, माध्यिका 0.42। ARC Prize Standard harness पर चल रहे सादे Claude Opus 5 के मुक़ाबले शोधपत्र औसत RHAE 59.3 अंक अधिक बताता है — जो Memento 3 के बारे में कम और इस बारे में अधिक कहता है कि नतीजे का कितना हिस्सा मॉडल के बजाय उसके चारों ओर बने ढाँचे से आता है।
आधार के सभी आँकड़े, इंसानी चाल-आधार सहित, हर सिस्टम के आधिकारिक ARC Prize स्कोरकार्ड से लिए गए हैं, इसलिए सभी स्तंभ एक ही तरह गिने गए हैं।
शोधपत्र क्या दावा नहीं करता
100.0 का अंक 25 सार्वजनिक खेलों का है। शोधपत्र किसी सुरक्षित रखे गए सेट का परिणाम नहीं देता, और ARC Prize Foundation अपना माप उन खेलों पर करती है जो प्रतिभागी ने देखे नहीं हैं। सार्वजनिक हिस्से को संतृप्त करना असली इंजीनियरिंग उपलब्धि है; यह परीक्षण के हल हो जाने के बराबर नहीं है, और इसके संचालक साफ़ कह चुके हैं कि गिनती निजी सेट की होती है।
लेखकों ने यह भी जाँचा कि वही तरीका विविक्त नियोजन के बाहर काम करता है या नहीं। Atari के Pong पर किए एक अध्ययन में एजेंट ने ऐसा फ़ीडबैक नियंत्रक सीखा जिसने अलग-अलग शुरुआत वाले तीनों मूल्यांकित मुक़ाबले 21:0 से जीते, और नियंत्रक बन जाने के बाद भाषा मॉडल को एक बार भी नहीं पुकारा गया।
देखना यह है कि सुरक्षित रखे गए खेलों पर Memento 3 का ARC Prize स्कोरकार्ड आता है या नहीं, और दक्षता का आँकड़ा तब कैसा दिखता है जब परिवेश ऐसा हो जिसके बारे में नियम-पुस्तिका को ग़लत होने का मौक़ा ही न मिला हो।
