उत्पादन में एक क्लस्टर, एनविडिया के बिना
ज़ेड.एआई ने 17 सितंबर को एक तकनीकी विवरण प्रकाशित किया कि उसने जीएलएम-5.3-फ्लैश के लिए उत्पादन-स्तर की इन्फ़रेंस सेवा शून्य से कैसे खड़ी की — एक लाख से अधिक चीनी निर्मित एआई एक्सेलरेटरों के क्लस्टर पर। कंपनी के अनुसार मॉडल की सारी उत्पादन इन्फ़रेंस अब इसी प्रणाली पर चलती है। चिप निर्माताओं के नाम नहीं बताए गए।
यह चुप्पी मायने रखती है, क्योंकि इसके नीचे चीनी घरेलू सिलिकॉन की क्षमता का दावा है: कि फ्रंटियर-स्तर का मॉडल अमेरिकी एक्सेलरेटरों के बिना व्यावसायिक रूप से परोसा जा सकता है, और कंपनी के अनुसार प्रतिस्पर्धी लागत पर।
जो मॉडल परोसा जा रहा है
जीएलएम-5.3-फ्लैश 26 अगस्त को जारी हुआ। इसमें कुल 320 अरब पैरामीटर हैं जिनमें 18 अरब सक्रिय हैं, संदर्भ खिड़की दस लाख टोकन की है, और यह जीएलएम-5 शृंखला का पहला मॉडल है जो पाठ के साथ छवि और वीडियो इनपुट भी लेता है।
जारी होने से पहले इसे ऑक्स-अल्फ़ा नाम से गुमनाम रूप से परखा गया। ज़ेड.एआई का कहना है कि एक सप्ताह के भीतर यह ओपनकोड और ओपनराउटर पर सबसे अधिक इस्तेमाल होने वाली पेशकश बन गया और छह दिनों में 62 खरब से अधिक टोकन संसाधित किए।
बुनियादी ढाँचे का काम करता एक एजेंट
विवरण का जो हिस्सा चिपों के बारे में नहीं है, वह इस बारे में है कि काम किसने किया। ज़ेड.एआई कहती है कि अधिकांश अनुकूलन जीएलएम-5.3 पर चलने वाले एक आंतरिक इन्फ़्रा एजेंट ने किया — विश्लेषण, परिकल्पनाएँ और कोड में बदलाव — जबकि मानव इंजीनियरों ने लक्ष्य, प्रणाली की सीमाएँ और जोखिम आकलन तय किए।
इसे व्यवहार्य बनाने के लिए टीम ने वह बनाया जिसे वह सघन प्रतिपुष्टि कहती है: शुद्धता परीक्षण, रनटाइम लॉग, निष्पादन ट्रेस, रनटाइम घटनाएँ, माइक्रोबेंचमार्क और आरंभ-से-अंत के मापक — इस तरह जोड़े गए कि प्रस्तावित बदलाव हर संपादन के बाद पूरी तैनाती माँगे बिना स्थानीय स्तर पर जाँचा जा सके।
आँकड़े, और वे कहाँ से आते हैं
ज़ेड.एआई का कहना है कि मॉडल के आरंभिक अनुकूलन से उत्पादन-तैयारी तक दो सप्ताह से कम लगे, आरंभ-से-अंत थ्रूपुट अंततः शुरुआती स्तर का तीन गुना हुआ, और हार्डवेयर उपयोग तथा प्रति-टोकन लागत प्रचलित एनविडिया जीपीयू के बराबर स्तर पर पहुँची।
इनमें से हर आँकड़ा कंपनी का अपना है, अपनी ही प्रणाली के बारे में, और किसी की स्वतंत्र जाँच नहीं हुई। विवरण यह भी गिनाता है कि कठिनाई कहाँ थी: चिप पर सीमित स्मृति क्षमता और बैंडविड्थ, नई मॉडल संरचना, दस लाख टोकन की संदर्भ खिड़की, बहुविध अनुरोध, और अपरिपक्व सॉफ़्टवेयर पारिस्थितिकी जहाँ कर्नेल समर्थन अधूरा था और इंजीनियरों को वह व्यवहार अनुमान से समझना पड़ा जो प्रलेखित होना चाहिए था।
निर्यात नियंत्रण का संदर्भ
अमेरिकी निर्यात नियंत्रण तीन वर्षों से एनविडिया के सबसे सक्षम पुर्ज़ों को चीन से बाहर रखे हुए हैं, और चीनी प्रयोगशालाएँ उसी के इर्द-गिर्द निर्माण कर रही हैं जो वे घर में खरीद सकती हैं। हुआवेई ने इसी सप्ताह अपना अगला एसेंड एक्सेलरेटर तीन तिमाही पहले खींचकर 2027 की पहली तिमाही में कर दिया, और उच्च-बैंडविड्थ स्मृति की कमी के बीच चीनी निर्माता दाम बढ़ा रहे हैं।
इस विवरण की रिपोर्टिंग में उद्धृत विश्लेषकों ने सुझाया है कि क्लस्टर संभवतः हुआवेई के एसेंड पुर्ज़ों और अन्य आपूर्तिकर्ताओं के हार्डवेयर का मिश्रण है, लेकिन यह बाहर से लगाया गया अनुमान है, ज़ेड.एआई की पुष्टि नहीं।
आगे क्या देखना है
दो बातें इसे कंपनी के दावे से जाँचने योग्य तथ्य में बदल देंगी: ज़ेड.एआई एक्सेलरेटरों के नाम बताए, और कोई स्वतंत्र रूप से प्रति-टोकन सेवा लागत की तुलना एनविडिया-आधारित प्रदाताओं से करे। तब तक उपयोग के आँकड़े ही कहानी का सबसे ठोस हिस्सा हैं — इतना इस्तेमाल होने वाला मॉडल कहीं न कहीं तो चल ही रहा है।
