Hvad der blev udgivet
DeepSeek har offentliggjort DeepInfer, den inferensramme, selskabet siger driver dets egne storskala produktionstjenester, under Apache 2.0-licens. Kodelageret beskriver udgivelsen som »offline inferens med de kernefunktioner, der kræves for at betjene i stor skala«.
Inferens er den uglamourøse halvdel af at drive en sprogmodel: den serversoftware, der gør et sæt trænede vægte til et API, som svarer hurtigt og billigt. Laboratorier åbner den sjældent. DeepSeek har nu åbnet en udgave af sin, og den detalje, der betyder noget, er hvilken udgave.
Én model, to acceleratorer
DeepInfer understøtter præcis én model — DeepSeek-V4.1-Flash — og henter som standard kontrolpunktet DeepSeek-V4.1-Flash-1017. Det er den model, DeepSeek skiftede ind bag sit eget Flash-API tidligere på måneden.
Hardwarelisten er den mere interessante linje. DeepInfer kører på Nvidias SM100-GPU’er og på Huaweis Ascend 950-NPU’er, og byggeskriptet tager nvidia eller ascend som mål. Forudsætningerne afviger tilsvarende: CUDA 13 til Nvidia-sporet, Huaweis CANN 9.2 til Ascend-sporet. At et kinesisk laboratorium leverer førsteklasses understøttelse af en indenlandsk accelerator side om side med Nvidias nyeste, siger noget om, hvor det forventer, at brugerne kører.
Det, der bevidst mangler
Kodelageret er usædvanligt ligefremt om afstanden mellem dette og det, DeepSeek kører internt. Under en overskrift om, hvad der er »nødvendigt for en komplet inferenstjeneste (ikke inkluderet i denne udgivelse)«, opregnes tre punkter: et KV-cachesystem, opdeling af prefill og decode — hvor der står, at »størstedelen af den nødvendige motorfunktionalitet allerede er implementeret« — og belastningsfordeling mellem dataparallelle replikaer for både prefill og decode.
Det er ikke fodnoter. Det er de lag, der gør en motor til en tjeneste, og det er dér, en stor del af omkostningsfordelen i en stor udrulning ligger. Det, der er udgivet, er den del, der udfører; den del, der ruter, cacher og fordeler, er ikke.
Tallene, der ikke er der
DeepInfers README linker til kurver for prefill og decode og angiver betingelserne — »målt på 4 SM100-GPU’er til prefill og 64 til decode, hver inden for ét skaleringsdomæne« — men siden indeholder ingen gennemløbs- eller ventetidstal i tekst. Funktionslisten er til gengæld konkret: dataparallelitet i attention, balanceret kontekstparallelitet, ekspertparallelitet med belastningsfordeling, asynkron planlægning, batch-invariant inferens, deterministisk sampling og strukturerede uddata.
DeepSeek krediterer også sine kilder. I takkeafsnittet står, at DeepInfer »oprindelig blev bygget primært på vLLM, med yderligere inspiration fra SGLang og TensorRT-LLM«. Det er altså en hærdet forgrening af den åbne serverstak, resten af branchen allerede bruger, ikke en selvstændig slægtslinje.
Timingen
Udgivelsen faldt samme dag, som det amerikanske ministerium for indre sikkerheds afgørelse stod i Federal Register og udelukkede DeepSeeks produkter fra føderale civile indkøb og krævede dem fjernet fra civile myndigheders it — herunder tredjepartsprodukter »udviklet ved brug af DeepSeek-implementeringer«. Bekendtgørelsen blev registreret 19. oktober og offentliggjort 20. oktober.
The Decoder, som først omtalte DeepInfer-udgivelsen, skriver, at DeepSeek fremstillede formålet som at hjælpe fællesskabet med at sænke beregningsomkostninger og energiforbrug, og at et følgebibliotek, deepseek-recipe, gengiver tokenhåndteringen i DeepSeeks officielle API, så egne udrulninger opfører sig ens.
Hvad man skal følge
To ting. Om DeepSeek udgiver de manglende lag til cache, routing og fordeling, hvilket ville gøre DeepInfer fra motor til udrulningsklar stak. Og om nogen uden for DeepSeek offentliggør gengivne tal på Ascend 950-hardware: kodelageret indeholder et sweep-script netop til det, og noget uafhængigt resultat er endnu ikke dukket op. Om morgenen den 21. oktober havde kodelageret omkring 14.400 stjerner, 1.400 forgreninger og 124 åbne fletteanmodninger, med to bidragydere anført.
