मॉडल चलाने की चिप, उन्हें प्रशिक्षित करने की नहीं
माइक्रोसॉफ्ट ने सोमवार को एज़्योर माया 300 की वास्तुकला प्रकाशित की, उस एक्सेलरेटर की तीसरी पीढ़ी जो वह अपने ही डेटा सेंटरों के लिए बनाती है। हर चिप में HBM4 मेमोरी की आठ परतें हैं जो कुल 288GB बनाती हैं और 18TB/s बैंडविड्थ देती हैं, और इसके कंप्यूट चिपलेट TSMC की N2P प्रक्रिया पर बने हैं, जबकि मेमोरी कंट्रोलर और इनपुट-आउटपुट अलग डाई पर ले जाए गए हैं।
डिज़ाइन का लक्ष्य, जैसा एज़्योर हार्डवेयर अध्यक्ष रानी बोरकर और सिस्टम आर्किटेक्चर उपाध्यक्ष सौरभ दिघे ने माइक्रोसॉफ्ट के अपने लेख में रखा, “प्रति वाट और प्रति डॉलर उपयोगी टोकन को अधिकतम करना” है। यह किसी सर्वसामान्य एक्सेलरेटर की महत्वाकांक्षा से संकरा लक्ष्य है। माया 300 इन्फ़रेंस के लिए बनी है — पहले से प्रशिक्षित मॉडल चलाने के लिए — और माइक्रोसॉफ्ट एक ऐसी प्रणाली बताती है जो बड़े भाषा मॉडल परोसने के लिए आख़िर तक ढाली गई है, प्रशिक्षण के लिए नहीं।
हर आँकड़ा माया 200 के मुक़ाबले मापा गया है
माइक्रोसॉफ्ट की सारी तुलनाएँ माया 200 से हैं, वह इन्फ़रेंस चिप जो उसने जनवरी में पेश की थी। उसके मुक़ाबले कंपनी 36% अधिक कंप्यूट, 2.5 गुना मेमोरी बैंडविड्थ, 33% अधिक क्षमता, लगभग दोगुनी प्रति वाट बैंडविड्थ और 14% अधिक स्केल-अप बैंडविड्थ का दावा करती है। रैक स्तर पर वह सात गुना तक टोकन थ्रूपुट और 2.5 गुना तक प्रति वाट प्रदर्शन का दावा करती है।
ये निर्माता के अपने आँकड़े हैं, उसकी अपनी पिछली पीढ़ी के सामने रखे गए। UPI ने बताया कि सोमवार तक किसी तीसरे पक्ष ने माया 300 का परीक्षण नहीं किया था। एक और दावा — कि यह चिप अग्रणी जीपीयू प्रणालियों से प्रति मेगावाट लगभग 40% अधिक टोकन देगी — लॉन्च की कवरेज में आया, पर माइक्रोसॉफ्ट ने यह नहीं बताया कि किन प्रणालियों से तुलना की गई।
इकाई रैक है
इस खुलासे का अधिक चौंकाने वाला हिस्सा अलमारी है। माइक्रोसॉफ्ट एक ही रैक में 96 एक्सेलरेटर रख रही है, चार-चार की 24 ट्रे में, जो माया 200 से दोगुना घनत्व है, और यह 167kW खींचता है। तीन द्रव-शीतित ट्रे में छह उच्च-रेडिक्स स्विच चिप बैठती हैं, बिजली दोहरी आपूर्ति से 50 वोल्ट की बसबार पर आती है, और द्रव शीतलन रैक की 80% से अधिक गर्मी बाहर ले जाता है। जिन स्थलों पर प्रक्रिया-जल नहीं है, वे वही रैक ऊष्मा विनिमयक से चला सकते हैं।
तुलना के लिए, रॉयटर्स ने एनविडिया के GB300 रैक को 72 जीपीयू और लगभग 142kW पर रखा। माइक्रोसॉफ्ट एक रैक से उससे अधिक बिजली और अधिक सिलिकॉन निगलने को कह रही है, और यही दिशा पूरे उद्योग की अलमारियों की रही है।
रैक के ऊपर माइक्रोसॉफ्ट एक “सुपरपॉड” बताती है जिसमें 128 रैक तक फैले 12,288 एक्सेलरेटर तक हो सकते हैं, और काम कहाँ पड़ता है उसके अनुसार पॉड के किसी भी साथी तक 750GB/s तक उपलब्ध रहता है। कंपनी ने चिपलेट के बीच मेमोरी पहुँच को एकरूप से असमरूप भी कर दिया, और बेहतर MXFP4 तथा तीन बिट से नीचे के भंडारण प्रारूप जोड़े जिनका रूपांतरण हार्डवेयर में होता है — यह सब तभी अर्थ रखता है जब काम बड़े पैमाने पर इन्फ़रेंस हो।
जो लेख में नहीं है
माइक्रोसॉफ्ट ने तैनाती की कोई तारीख़ नहीं दी। लॉन्च की कवरेज कहती है कि चिप 2027 में उत्पादन में जाती है और उसी वर्ष से माइक्रोसॉफ्ट के उत्पादों के भीतर एआई चलाने वाली मुख्य प्रणाली बन जाती है, और तैनाती गीगावाट में मापी जाएगी। द इन्फ़र्मेशन ने अगस्त में बताया था कि माइक्रोसॉफ्ट 2027 के लिए TSMC से तीन लाख से अधिक माया 300 चिप पर बात कर रही थी; वह अब भी एक ख़बर है, पुष्ट ऑर्डर नहीं।
एनविडिया यहाँ हटाई नहीं जा रही। माइक्रोसॉफ्ट का लेख एक कार्यभार के एक हिस्से के बारे में है, और कंपनी प्रशिक्षण के लिए एनविडिया हार्डवेयर ख़रीदती रहती है। अगला ठोस पड़ाव माइक्रोसॉफ्ट इग्नाइट है, 17 से 20 नवंबर, सैन फ़्रांसिस्को में, जहाँ बोरकर और दिघे कहते हैं कि वे बताएँगे कि चिप रणनीति में कहाँ बैठती है।
