Vad som släpptes
DeepSeek har publicerat DeepInfer, det inferensramverk som företaget säger driver dess egna storskaliga produktionstjänster, under Apache 2.0-licens. Kodförrådet beskriver släppet som ”offline-inferens med de kärnfunktioner som krävs för att betjäna i stor skala”.
Inferens är den oglamorösa halvan av att driva en språkmodell: den serverprogramvara som gör en tränad uppsättning vikter till ett API som svarar snabbt och billigt. Laboratorier öppnar sällan den delen. DeepSeek har nu öppnat en version av sin, och detaljen som betyder något är vilken version.
En modell, två acceleratorer
DeepInfer stöder exakt en modell — DeepSeek-V4.1-Flash — och hämtar som standard kontrollpunkten DeepSeek-V4.1-Flash-1017. Det är modellen DeepSeek bytte in bakom sitt eget Flash-API tidigare i månaden.
Hårdvarulistan är den intressantare raden. DeepInfer körs på Nvidias SM100-grafikprocessorer och på Huaweis Ascend 950-NPU:er, och byggskriptet tar nvidia eller ascend som mål. Förutsättningarna skiljer sig därefter: CUDA 13 för Nvidia-spåret, Huaweis CANN 9.2 för Ascend-spåret. Att ett kinesiskt laboratorium levererar förstklassigt stöd för en inhemsk accelerator jämsides med Nvidias nyaste säger något om var det räknar med att användarna kör.
Det som medvetet saknas
Kodförrådet är ovanligt uppriktigt om avståndet mellan detta och vad DeepSeek kör internt. Under en rubrik för vad som ”krävs för en komplett inferenstjänst (ingår inte i detta släpp)” listas tre punkter: ett KV-cachesystem, uppdelning av prefill och decode — där det står att ”merparten av den nödvändiga motorfunktionaliteten redan är implementerad” — och lastbalansering mellan dataparallella repliker för både prefill och decode.
Det är inga fotnoter. Det är lagren som gör en motor till en tjänst, och det är där mycket av kostnadsfördelen i en stor driftsättning sitter. Det som släppts är delen som kör; delen som dirigerar, cachar och balanserar är det inte.
Siffrorna som inte finns
DeepInfers README länkar diagram för prefill och decode och anger villkoren — ”mätt på 4 SM100-GPU:er för prefill och 64 för decode, var och en inom en skalningsdomän” — men sidan innehåller inga genomströmnings- eller latenssiffror i text. Funktionslistan är däremot specifik: dataparallellism i attention, balanserad kontextparallellism, expertparallellism med lastbalansering, asynkron schemaläggning, batch-invariant inferens, deterministisk sampling och strukturerade utdata.
DeepSeek anger också sina källor. I tacksägelserna står att DeepInfer ”ursprungligen byggdes främst på vLLM, med ytterligare inspiration från SGLang och TensorRT-LLM”. Det är alltså en härdad avgrening av den öppna serverstack resten av branschen redan använder, inte en egen släktlinje.
Tidpunkten
Släppet kom samma dag som det amerikanska inrikessäkerhetsdepartementets beslut publicerades i Federal Register och utestängde DeepSeeks produkter från federal civil upphandling samt krävde att de tas bort ur civila myndigheters it — inklusive tredjepartsprodukter ”utvecklade med DeepSeek-implementationer”. Kungörelsen registrerades den 19 oktober och publicerades den 20.
The Decoder, som först rapporterade om DeepInfer, skriver att DeepSeek beskrev syftet som att hjälpa gemenskapen sänka beräkningskostnader och energianvändning, och att ett följeslagarbibliotek, deepseek-recipe, återskapar tokenhanteringen i DeepSeeks officiella API så att egna driftsättningar beter sig likadant.
Vad man ska följa
Två saker. Om DeepSeek släpper de saknade lagren för cache, dirigering och balansering, vilket skulle göra DeepInfer från motor till driftsättningsbar stack. Och om någon utanför DeepSeek publicerar reproducerade siffror på Ascend 950-hårdvara: kodförrådet innehåller ett svepskript just för det, och något oberoende resultat har ännu inte dykt upp. På morgonen den 21 oktober hade kodförrådet omkring 14 400 stjärnor, 1 400 avgreningar och 124 öppna sammanslagningsförfrågningar, med två bidragsgivare listade.
