En modell på 2,8 biljoner parametrar som går att ladda ner

Moonshot AI har publicerat vikterna för Kimi K3.1 Pro, bolagets största modell, på Hugging Face. Förrådet rymmer modellen i 96 safetensors-delar och är inte spärrat: det finns ingen ansökan och inget godkännandesteg mellan ett nedladdningskommando och filen. Moonshot hade sagt att vikterna skulle följa efter modellens lansering i slutet av oktober, och nu är de offentliga.

Bolaget kallar den sin “mest kapabla modell i 3T-klassen hittills”. Det är en mixture-of-experts-konstruktion med 2,8 biljoner parametrar totalt, varav 104 miljarder aktiveras för varje enskild token, och ett kontextfönster på 1 048 576 tokens.

Vad som ligger i filen

Arkitekturen går på 93 lager, ett av dem tätt, med 896 experter av vilka 16 väljs per token vid sidan av två delade experter. Uppmärksamheten är fördelad på 69 lager Kimi Delta Attention och 24 lager Gated DeepSeek Sparse Attention — en förändring mot Kimi K3, som använde Gated MLA-lager med full uppmärksamhet, och som enligt Moonshot gör modellering av långa kontexter effektivare. Den dolda uppmärksamhetsdimensionen är 7 168 över 96 huvuden, och ordförrådet omfattar 160 000 tokens.

Modellen tar text och bild; en MoonViT-V2-bildkodare på 401 miljoner parametrar sitter vid sidan av språkdelen. Vikterna levereras kvantiserade till MXFP4 med MXFP8-aktiveringar, tränade så i stället för komprimerade efteråt, och Moonshot hänvisar den som vill köra modellen till vLLM och SGLang. K3.1 Pro eftertränades från Kimi K3 med vad bolaget beskriver som storskalig gemensam förstärkningsinlärning över hundratals domäner.

Blå nätverkskablar inkopplade i en rackmonterad kopplingspanel
Modellen aktiverar 104 miljarder av sina 2,8 biljoner parametrar per token. Illustrerande arkivbild. Brett Sayles · pexels · Pexels License

Poängen, och var den kommer ifrån

Moonshot publicerar en jämförelsetabell mot Claude Fable 5.1, GPT‑6 Astra, Claude Opus 5.5, DeepSeek-V4.1-Flash-1017 och GLM-5.3. Fotnoterna spelar roll: Moonshot körde K3.1 Pro själv, i de flesta rader genom Claude Code, medan konkurrenternas siffror är de högsta värden som de leverantörerna uppgett i sina egna blogginlägg, systemkort och topplistor. Det är en tabell över leverantörspåståenden, sammanställd av en av leverantörerna.

På den grunden får K3.1 Pro 65,7 på Terminal-Bench 4.0 mot 66,4 för Claude Opus 5.5 — tvåa med 0,7 poäng, och före GPT‑6 Astra på 58,2 och Claude Fable 5.1 på 57,9. Den leder på SWE Marathon v1.1 med 51,7 mot Opus 5.5:s 46,3, och på BrowseComp med 92,1 mot Astras 91,5.

Den leder inte överallt. DeepSeek-V4.1-Flash-1017 tar DeepSWE v1.1 med 77,0 mot K3.1 Pros 75,5, och GPT‑6 Astra tar GPQA-Diamond på 96,1 mot 94,2. På Humanity’s Last Exam är avståndet större: K3.1 Pro får 51,1 där Opus 5.5 når 59,8 och Claude Fable 5.1 når 57,6, vilket gör den öppna modellen sist bland frontsystemen i den raden. På OSWorld V2.1 ligger den på 79,6, bakom Opus 5.5 på 81,8 och Fable 5.1 på 80,7.

Friliggande ventilationstrummor och kabelstegar under ett betongtak
Moonshot rekommenderar vLLM och SGLang för att köra modellen. Illustrerande arkivbild. Adrien Olichon · pexels · Pexels License

Licensen är haken

Vikterna går att ladda ner, men öppna vikter är inte samma sak som öppen källkod. K3.1 Pro släpps under Kimi K3.1 Pro License, ett dokument som bolaget skrivit för den här modellen i stället för Apache 2.0 eller MIT, och Hugging Face anger licensfältet helt enkelt som “other”. Den som tänker bygga vidare på modellen måste läsa den texten i stället för att luta sig mot villkor som redan är kända.

Vad man ska bevaka

Den användbara siffran blir den första oberoende. Varje tal i Moonshots tabell kommer från en leverantör, Moonshots egna inräknade, och Terminal-Bench för en offentlig topplista som bolaget redan hänvisar till för sina rivaler. En post för K3.1 Pro där, körd av någon annan, skulle avgöra om de 0,7 poängen till Claude Opus 5.5 överlever ett uppsätt som Moonshot inte valt.