आउटपुट नहीं, पैरामीटर पढ़ना
एमआईटी सीसेल के चार शोधकर्ताओं — रिकिया ताकेही, जेडन टेओह, एलेक्स ज़ैंग और उमर खट्टाब — ने 2 नवंबर को परिणाम प्रकाशित किए जिस व्यवस्था से वे निकले उसे वे भार-अवकाश प्रोग्रामिंग कहते हैं: एक अग्रणी मॉडल, ओपनएआई का जीपीटी-6 एस्ट्रा, को किसी दूसरे जाल के कच्चे पैरामीटर सौंपे जाते हैं और उनसे व्याख्या करने या उन्हें फिर से लिखने को कहा जाता है, पूरी प्रक्रिया में कहीं ग्रेडिएंट डिसेंट नहीं।
व्याख्या के प्रयोग पहले आते हैं। चार प्रबलन-अधिगम नीतियों के 17,253 भार देकर मॉडल ने चारों मामलों में बताया कि कौन सा खेल खेला जा रहा था — ब्रेकआउट, पोंग, पैक-मैन और फ़्रीवे। 23,824 भारों वाला डिफ़्यूज़न मॉडल देकर उसने पहचाना कि मॉडल कौन सी आकृति बनाता है। 72 लाख पैरामीटर वाले भाषा मॉडलों के केवल बीच के चार ट्रांसफ़ॉर्मर खंडों से उसने तय किया कि मॉडल पायथन, रोमाजी या अंग्रेज़ी पर प्रशिक्षित था, और कॉपी करने वाले शीर्ष खोज निकाले।
संपादन, और शून्य से लेखन
संपादन के परिणाम अधिक तीक्ष्ण हैं। क्वेन3.5-0.8बी मॉडल पर लेखक बताते हैं कि मॉडल ने 1,31,072 भार संपादित किए — पैरामीटरों का 0.016% — और अपने काम की जाँच के लिए 50 फ़ॉरवर्ड पास की अनुमति के साथ MATH-500 को 7.9% से 48.1%, GSM8K को 13.8% से 67.1% और IFEval को 21.0% से 62.3% तक पहुँचाया। MATH-500 के जो उत्तर 32,768 टोकन की सीमा से टकराते थे उनका अनुपात 93% से घटकर 33.1% रह गया, जिससे लगता है कि संपादन ने मुख्यतः मॉडल को चक्कर काटने से रोका।
भौतिक नियंत्रण के एक कार्य में 1,71,664 भारों वाले जाल के 3.5% भाग का संपादन ऐसी नीति बना गया जो सभी 1,024 परीक्षण प्रकरणों में सफल रही, जबकि मूल जाल 256 में से एक में भी सफल नहीं हुआ था। शून्य भारों से शुरू करके एक ही प्रयास में लिखे जालों ने ब्रेकआउट में 517.4 अंक पाए, जबकि 10 करोड़ चरणों पर प्रशिक्षित नीति-ग्रेडिएंट एजेंट को 15.8 और 50 करोड़ पर 25.3 मिले। 9x9 गो में 14.8 लाख भारों वाले जाल ने, बिना एक भी फ़ॉरवर्ड पास के लिखे जाने पर, दो छोटे प्रशिक्षित जालों के विरुद्ध आधी से अधिक बाज़ियाँ जीतीं; 50 फ़ॉरवर्ड पास के साथ उसने 2 करोड़ बाज़ियों पर प्रशिक्षित समान आकार के जाल को हराया।
कहाँ विफल रहा
लेख अपने नकारात्मक परिणाम भी दर्ज करता है। केवल भारों से चापलूस जेम्मा 3 270एम मॉडल पहचानने को कहा गया तो मॉडल नहीं पहचान सका; वह तभी सफल हुआ जब उसे अटेंशन प्रतिरूप देखने की अनुमति मिली। और जेम्मा 3 270एम पर, जो लेखकों के अनुसार कम ही चक्कर काटता है, संपादन विधि से कोई सार्थक लाभ नहीं हुआ — MATH-500 6.8% से अधिकतम 7.7% तक गया। यह प्रतिरूप टोकन-सीमा के आँकड़े से मेल खाता है: बड़ा लाभ वहीं मिला जहाँ हटाने योग्य चक्कर मौजूद थे।
यहाँ के सभी आँकड़े लेखकों के अपने हैं, ओपनएआई द्वारा बनाए मॉडल से मापे गए, और किसी का स्वतंत्र रूप से पुनरुत्पादन नहीं हुआ है।
आगे क्या देखना है
यदि यह विधि इस लेख के बाहर भी टिकती है, तो वह दो दिशाओं में एक साथ काटती है। यह व्याख्येयता का नया औज़ार है — एक मॉडल जो दूसरे मॉडल के पैरामीटर पढ़कर बता सके कि वे क्या करते हैं। यह क्षमता का परिणाम भी है: वही पहुँच मॉडल को बिना प्रशिक्षण एक लाख भारों के पैमाने पर व्यवहार बदलने देती है। अगला उपयोगी कदम ऐसे मॉडलों पर पुनरुत्पादन है जिन्हें लेखकों ने स्वयं न चुना हो।
