वेब पर मौजूद एक-चौथाई से ज़्यादा लेखन अब मशीनें कर रही हैं, और एक नया अध्ययन बताता है कि इससे प्रशिक्षण पर क्या असर पड़ता है

30 सितंबर को arXiv पर रखे गए एक शोधपत्र ने उस सवाल को संख्या में बदल दिया है जिस पर यह क्षेत्र 2023 से बहस कर रहा है: खुले वेब का कितना हिस्सा अब मशीनें लिख रही हैं, और उस पर प्रशिक्षित मॉडल का क्या होता है। पहले सवाल का उत्तर है — जून 2026 के वेब डेटा में 27.5 प्रतिशत टोकन, और अगस्त तक 31.1 प्रतिशत।

दूसरे सवाल का उत्तर अधिक दिलचस्प है, क्योंकि यह ढहने वाली कहानी नहीं है। “How Much Is an AI Token Worth?” पाता है कि एआई-जनित पाठ कुछ परिस्थितियों में उपयोगी है और कुछ में हानिकारक, और यह भी बताता है कि कौन-सी कब।

उन्होंने वास्तव में क्या किया

लेखकों ने एआई और मानव टोकन के बदलते अनुपातों पर 800 भाषा मॉडल प्रशिक्षित किए, फिर अलग रखे गए मानव पाठ पर हानि (loss) मापी। परिणामों से दो स्थितियाँ निकलती हैं।

जो मॉडल डेटा-सीमित है — जहाँ पर्याप्त मानव पाठ नहीं है — वहाँ एआई टोकन जोड़ने से शुरू में मानव पाठ पर हानि घटती है। फिर यह लाभ संतृप्त होकर उलट जाता है। जिस मॉडल को पर्याप्त मात्रा में मानव पाठ मिला है, वहाँ एआई टोकन तुरंत हानि बढ़ाते हैं। ऐसी कोई खिड़की नहीं जहाँ वे मदद करें।

यह अंतर व्यावसायिक रूप से मायने रखता है। जिस प्रयोगशाला के पास लाइसेंस प्राप्त अभिलेख और बड़ा मानव कोश है, उसे वेब से खींचे गए कृत्रिम पाठ से कुछ नहीं मिलता और शामिल करने पर नुकसान होता है। जो टीम जो मिले उसी पर प्रशिक्षण करती है, वह पहली स्थिति में है, जहाँ कुछ मात्रा में कृत्रिम सामग्री तब तक फायदेमंद है जब तक नहीं रह जाती।

स्केलिंग नियम

शोधपत्र एक संशोधित स्केलिंग नियम प्रस्तावित करता है जो एआई टोकन के अनुपात को ध्यान में रखता है। लेखकों के अनुसार यह 3.6 गुना तक बड़े मॉडलों के लिए मानव पाठ पर हानि का पूर्वानुमान सभी एआई अनुपातों में मौजूदा सर्वश्रेष्ठ नियम से 41 प्रतिशत कम त्रुटि के साथ देता है। वे WildAI भी जारी कर रहे हैं — प्रति दस्तावेज़ लेबल वाला 83 अरब टोकन का कोश — और साथ में 800 प्रशिक्षित मॉडल।

वह धारणा जिस पर सब टिका है

यहाँ हर आँकड़ा डिटेक्टर पर टिका है। लेबल Pangram से आते हैं, जो एआई-पाठ का वाणिज्यिक वर्गीकारक है, और शोधपत्र के दो लेखक — मैक्स स्पेरो और ब्रैडली एमी — Pangram Labs के मुख्य कार्यकारी और मुख्य प्रौद्योगिकी अधिकारी हैं। शोधपत्र इसे छिपाता नहीं; संबद्धताएँ उसी में दर्ज हैं। लेकिन वेब का कितना हिस्सा एआई-लिखित है, इसका माप उतना ही अच्छा है जितना उसे तय करने वाला उपकरण, और यहाँ वह उपकरण लेखक-सूची के लोग ही बेचते हैं।

फिर भी परिणाम जाँचने योग्य इसलिए है कि सब कुछ सार्वजनिक है। WildAI के लेबल और 800 मॉडल सार्वजनिक हैं, इसलिए किसी और डिटेक्टर वाला कोई भी कोश को फिर से लेबल कर देख सकता है कि स्केलिंग नियम टिकता है या नहीं।

आगे क्या देखें

क्या कोई स्वतंत्र समूह किसी दूसरे वर्गीकारक से 27.5 प्रतिशत का आँकड़ा दोहरा पाता है। अगर अनुपात टिकता है तो डेटा का सवाल उपलब्धता का नहीं, स्रोत का हो जाएगा: कितने टोकन मिल सकते हैं, यह नहीं, बल्कि उनमें से कितने किसी और के मॉडल ने लिखे।