सूची की जगह एक पंक्ति
ओपनएआई और गूगल, दोनों ने 30 अक्टूबर को कहा कि वे robots.txt में एक साझा टोकन का सम्मान करेंगे, जिससे कोई वेबसाइट बता सकेगी कि वह अपनी सामग्री को जनरेटिव एआई के प्रशिक्षण में देना चाहती है या नहीं। अब तक साइट मालिक को हर क्रॉलर का नाम लेकर हर प्रदाता के लिए अलग नियम रखना पड़ता था। ओपनएआई की पोस्ट समस्या साफ़ रखती है: संचालक “अलग-अलग क्रॉलर पहचानते थे और हर एक प्रदाता के लिए अलग नियम बनाए रखते थे”, और एक साझा संकेत “वह काम घटा देता है”।
टोकन है __usage_ai-training। इसे आईईटीएफ़ में 30 अक्टूबर को दायर एक व्यक्तिगत इंटरनेट-ड्राफ़्ट में परिभाषित किया गया है, जिसे एंथ्रोपिक के केविन केली ने लिखा है, और इसे सामान्य robots.txt समूह के भीतर User-Agent समूह कुंजी के रूप में इस्तेमाल किया जाता है। इसका अर्थ है कि यह उन्हीं पथ-नियमों को अपनाता है जो प्रकाशक पहले से लिखना जानते हैं, और पूरी साइट के बजाय एक निर्देशिका पर लागू हो सकता है।
तारीख़ें मेल नहीं खातीं
किसी भी कंपनी ने इसे लागू नहीं किया है। ओपनएआई कहती है कि वह “आने वाले महीनों में” ऐसा करने का लक्ष्य रखती है और तब कार्यान्वयन के विवरण के साथ एक और अद्यतन प्रकाशित करेगी। गूगल कहती है कि वह इस नियंत्रण का समर्थन “अन्य एआई प्रदाताओं के साथ 2027 में” करने का लक्ष्य रखती है।
जिस मसौदे की ओर दोनों इशारा कर रही हैं, वह -00 व्यक्तिगत प्रस्तुति है। आईईटीएफ़ का रिकॉर्ड इसकी मंशा स्टैंडर्ड्स ट्रैक दर्ज करता है, पर यह भी बताता है कि व्यक्तिगत मसौदे की मानक प्रक्रिया में कोई औपचारिक हैसियत नहीं होती और आईईटीएफ़ उसका समर्थन नहीं करता। यह 3 मई 2027 को समाप्त हो जाता है। प्रकाशित समयरेखाओं के अनुसार टोकन को परिभाषित करने वाला दस्तावेज़ उससे पहले ही निष्प्रभावी हो सकता है जब दोनों में से बड़ी कंपनी उसका पालन शुरू करे। आईईटीएफ़ मसौदों के लिए यह सामान्य है, जो नियमित रूप से फिर से दाख़िल होते हैं, पर कहना ज़रूरी है: आज यह पंक्ति जोड़ने वाले प्रकाशक एक समाप्ति तिथि वाले दस्तावेज़ और दो वादों के विरुद्ध लिख रहे हैं, किसी मानक के विरुद्ध नहीं।
यह क्या नहीं करता
दोनों कंपनियाँ स्पष्ट हैं कि नया संकेत पुराने नियंत्रणों के ऊपर जुड़ता है, उन्हें हटाता नहीं। ओपनएआई कहती है कि उसके मौजूदा क्रॉलर नियंत्रण “लागू रहेंगे और उनका सम्मान होता रहेगा”। गूगल कहती है कि कंपनी-विशिष्ट नियंत्रण साझा संकेत के साथ-साथ काम करते रहेंगे।
गूगल वह व्याख्या जोड़ती है जो पहले से robots.txt रखने वालों के लिए सबसे अहम है। यदि कोई साइट प्रशिक्षण से बाहर होने के लिए टोकन का उपयोग करती है और Google-Extended का नाम स्पष्ट रूप से नहीं लेती, तो गूगल उसे ऐसे पढ़ेगी मानो प्रकाशक ने Google-Extended को मना कर दिया हो — वही नियंत्रण जो वह 2023 से देती आ रही है। जो साइटें Google-Extended को स्पष्ट रूप से अनुमति देती हैं, वे जेमिनी ऐप्स के उत्तरों में दिख सकती हैं और ग्राउंडिंग से क्लिक पा सकती हैं। यानी व्यापक संकेत और प्रति-कंपनी नियंत्रण अब भी अलग हैं, और जो प्रशिक्षण रोकना पर ग्राउंडिंग देना चाहता है, उसे दोनों पंक्तियाँ लिखनी होंगी।
कोई भी घोषणा पहले से जुटाई गई सामग्री के बारे में कुछ नहीं कहती। robots.txt में बदलाव स्वभाव से आगे की ओर देखता है; वह मौजूदा डेटासेट या पहले से प्रशिक्षित मॉडलों तक नहीं पहुँचता।
अभी क्यों
गूगल प्रस्ताव को सीधे नियमन से जोड़ती है और लिखती है कि यह “एआई अधिनियम के तहत सामान्य प्रयोजन एआई मॉडल प्रदाताओं के लिए यूरोपीय संघ की आचार संहिता के अनुरूप है, जो robots.txt को वेब प्रकाशकों के मशीन-पठनीय वरीयताएँ बताने का प्राथमिक तरीक़ा मानती है”। कंपनी यह भी कहती है कि मसौदा उन प्रकाशकों, नागरिक समाज समूहों और नियामकों की राय दर्शाता है जिन्होंने उद्योग-व्यापी नियंत्रण माँगे थे।
यही ईमानदार ढाँचा है। दो कंपनियों द्वारा अनिर्दिष्ट समयसीमा पर माना जाने वाला स्वैच्छिक टोकन प्रवर्तन नहीं है। पर यह वही तंत्र है जिसका नाम यूरोपीय संघ की अपनी संहिता पहले से लेती है, जिससे इसे अपनाना इस बहस से सस्ता पड़ता है कि वैध मशीन-पठनीय वरीयता क्या मानी जाए।
आगे क्या देखना है
तीन बातें। क्या मसौदा व्यक्तिगत प्रस्तुति से आईईटीएफ़ के एआई वरीयता कार्यसमूह के अपनाए दस्तावेज़ में बदलता है, जो उसे प्रस्ताव के बजाय मानक बनाएगा। क्या अन्य प्रदाता साथ आते हैं — ओपनएआई अपनी पोस्ट उन्हें प्रोत्साहित करते हुए समाप्त करती है। और क्या कोई कंपनी संकेत चालू करने के लिए मौसम नहीं, तारीख़ प्रकाशित करती है।
