2.8 ट्रिलियन पैरामीटर वाला एक मॉडल जिसे डाउनलोड किया जा सकता है
मूनशॉट एआई ने अपने सबसे बड़े मॉडल किमी K3.1 प्रो के वेट्स हगिंग फेस पर प्रकाशित कर दिए हैं। रिपॉज़िटरी में मॉडल 96 सेफ़टेंसर्स हिस्सों में रखा है और उस पर कोई रोक नहीं है: डाउनलोड के आदेश और फ़ाइल के बीच न कोई आवेदन है, न कोई अनुमोदन का चरण। मूनशॉट ने कहा था कि अक्टूबर के अंत में मॉडल के लॉन्च के बाद वेट्स आएँगे, और अब वे सार्वजनिक हैं।
कंपनी इसे “अब तक का अपना सबसे सक्षम 3T-श्रेणी का मॉडल” कहती है। यह मिक्सचर-ऑफ़-एक्सपर्ट्स संरचना है जिसमें कुल 2.8 ट्रिलियन पैरामीटर हैं, जिनमें से किसी भी टोकन के लिए 104 अरब सक्रिय होते हैं, और संदर्भ खिड़की 1,048,576 टोकन की है।
फ़ाइल में क्या है
संरचना में 93 परतें हैं, उनमें से एक सघन, और 896 एक्सपर्ट हैं जिनमें से प्रति टोकन 16 चुने जाते हैं, साथ ही दो साझा एक्सपर्ट। ध्यान 69 किमी डेल्टा अटेंशन परतों और 24 गेटेड डीपसीक स्पार्स अटेंशन परतों में बँटा है — यह किमी K3 से बदलाव है, जो पूर्ण-ध्यान वाली गेटेड MLA परतें इस्तेमाल करता था, और मूनशॉट के अनुसार इससे लंबे संदर्भ की प्रोसेसिंग अधिक कुशल होती है। ध्यान की छिपी हुई विमा 96 हेड पर 7,168 है, और शब्दभंडार 160,000 टोकन तक जाता है।
मॉडल पाठ और छवि दोनों लेता है; भाषा भाग के साथ 401 मिलियन पैरामीटर का मूनViT-V2 दृष्टि एन्कोडर जुड़ा है। वेट्स MXFP4 में क्वांटाइज़ करके और MXFP8 सक्रियणों के साथ दिए गए हैं, जिन्हें बाद में संपीड़ित करने के बजाय उसी रूप में प्रशिक्षित किया गया, और मूनशॉट मॉडल चलाने के लिए vLLM और SGLang की ओर इशारा करता है। K3.1 प्रो को किमी K3 से आगे प्रशिक्षित किया गया, जिसे कंपनी सैकड़ों क्षेत्रों में बड़े पैमाने की संयुक्त सुदृढ़ीकरण अधिगम बताती है।
अंक, और वे कहाँ से आए
मूनशॉट क्लॉड फ़ेबल 5.1, जीपीटी‑6 एस्ट्रा, क्लॉड ओपस 5.5, डीपसीक-V4.1-फ़्लैश-1017 और GLM-5.3 के मुक़ाबले एक तुलना तालिका प्रकाशित करता है। पादटिप्पणियाँ मायने रखती हैं: मूनशॉट ने K3.1 प्रो स्वयं चलाया, अधिकांश पंक्तियों में क्लॉड कोड के ज़रिए, जबकि प्रतिस्पर्धियों के आँकड़े वे अधिकतम मान हैं जो उन कंपनियों ने अपने ही ब्लॉग, सिस्टम कार्ड और लीडरबोर्ड प्रविष्टियों में बताए। यह विक्रेताओं के दावों की तालिका है, जिसे एक विक्रेता ने ही संकलित किया है।
इस आधार पर K3.1 प्रो टर्मिनल-बेंच 4.0 पर 65.7 पाता है, जबकि क्लॉड ओपस 5.5 का अंक 66.4 है — 0.7 अंक से दूसरे स्थान पर, और जीपीटी‑6 एस्ट्रा के 58.2 तथा क्लॉड फ़ेबल 5.1 के 57.9 से आगे। यह SWE मैराथन v1.1 पर 51.7 के साथ आगे है, जहाँ ओपस 5.5 का अंक 46.3 है, और ब्राउज़कॉम्प पर 92.1 के साथ, जहाँ एस्ट्रा का 91.5 है।
यह हर जगह आगे नहीं है। डीपसीक-V4.1-फ़्लैश-1017 DeepSWE v1.1 में 77.0 के साथ जीतता है, K3.1 प्रो के 75.5 के मुक़ाबले, और जीपीटी‑6 एस्ट्रा GPQA-डायमंड में 96.1 बनाम 94.2 से जीतता है। ह्यूमैनिटीज़ लास्ट एग्ज़ाम में अंतर और बड़ा है: K3.1 प्रो को 51.1 मिलते हैं जहाँ ओपस 5.5 को 59.8 और क्लॉड फ़ेबल 5.1 को 57.6, जिससे उस पंक्ति के अग्रणी सिस्टमों में खुला मॉडल सबसे नीचे रह जाता है। OSWorld V2.1 पर यह 79.6 पर है, ओपस 5.5 के 81.8 और फ़ेबल 5.1 के 80.7 से पीछे।
पेच लाइसेंस में है
वेट्स डाउनलोड किए जा सकते हैं, पर खुले वेट्स और ओपन सोर्स एक बात नहीं है। K3.1 प्रो किमी K3.1 प्रो लाइसेंस के तहत जारी हुआ है, जो कंपनी ने अपाचे 2.0 या MIT के बजाय इसी मॉडल के लिए लिखा है, और हगिंग फेस लाइसेंस के खाने में बस “other” दर्ज करता है। जो कोई इस मॉडल पर कुछ बनाना चाहे, उसे पहले से जानी-पहचानी शर्तों पर भरोसा करने के बजाय वह पाठ पढ़ना होगा।
आगे क्या देखना है
काम का आँकड़ा पहला स्वतंत्र आँकड़ा होगा। मूनशॉट की तालिका का हर अंक किसी विक्रेता का है, मूनशॉट के अपने भी, और टर्मिनल-बेंच एक सार्वजनिक लीडरबोर्ड रखता है जिसका हवाला कंपनी अपने प्रतिद्वंद्वियों के लिए पहले ही देती है। वहाँ किसी और के चलाए K3.1 प्रो की प्रविष्टि तय कर देगी कि क्लॉड ओपस 5.5 से 0.7 अंक का फ़ासला ऐसे ढाँचे में टिकता है या नहीं जिसे मूनशॉट ने नहीं चुना।
