Hva som ble sluppet
DeepSeek har publisert DeepInfer, inferensrammeverket selskapet sier driver dets egne storskala produksjonstjenester, under Apache 2.0-lisens. Kodelageret beskriver slippet som «offline inferens med kjernefunksjonene som trengs for å betjene i stor skala».
Inferens er den uglamorøse halvdelen av å drive en språkmodell: tjenerprogramvaren som gjør et sett trente vekter til et API som svarer raskt og billig. Laboratorier åpner den sjelden. DeepSeek har nå åpnet en utgave av sin, og detaljen som betyr noe er hvilken utgave.
Én modell, to akseleratorer
DeepInfer støtter nøyaktig én modell — DeepSeek-V4.1-Flash — og laster som standard ned kontrollpunktet DeepSeek-V4.1-Flash-1017. Det er modellen DeepSeek byttet inn bak sitt eget Flash-API tidligere denne måneden.
Maskinvarelisten er den mer interessante linjen. DeepInfer kjører på Nvidias SM100-GPU-er og på Huaweis Ascend 950-NPU-er, og byggeskriptet tar nvidia eller ascend som mål. Forutsetningene skiller seg deretter: CUDA 13 for Nvidia-sporet, Huaweis CANN 9.2 for Ascend-sporet. At et kinesisk laboratorium leverer førsteklasses støtte for en innenlandsk akselerator ved siden av Nvidias nyeste, sier noe om hvor det venter at brukerne kjører.
Det som bevisst mangler
Kodelageret er uvanlig åpent om avstanden mellom dette og det DeepSeek kjører internt. Under en overskrift for hva som er «nødvendig for en komplett inferenstjeneste (ikke inkludert i dette slippet)», listes tre punkter: et KV-cachesystem, oppdeling av prefill og decode — der det står at «mesteparten av nødvendig motorfunksjonalitet allerede er implementert» — og lastbalansering mellom dataparallelle replikaer for både prefill og decode.
Dette er ingen fotnoter. Det er lagene som gjør en motor til en tjeneste, og det er der mye av kostnadsfordelen i en stor utrulling ligger. Det som er sluppet er delen som kjører; delen som ruter, cacher og balanserer er det ikke.
Tallene som ikke er der
DeepInfers README lenker til kurver for prefill og decode og angir betingelsene — «målt på 4 SM100-GPU-er for prefill og 64 for decode, hver innenfor ett skaleringsdomene» — men siden inneholder ingen gjennomstrømnings- eller latenstall i tekst. Funksjonslisten er derimot konkret: dataparallellitet i attention, balansert kontekstparallellitet, ekspertparallellitet med lastbalansering, asynkron planlegging, batch-invariant inferens, deterministisk sampling og strukturerte utdata.
DeepSeek oppgir også kildene sine. I takksigelsene står det at DeepInfer «opprinnelig ble bygget hovedsakelig på vLLM, med ytterligere inspirasjon fra SGLang og TensorRT-LLM». Dette er altså en herdet forgrening av den åpne tjenerstakken resten av bransjen allerede bruker, ikke en egen slektslinje.
Tidspunktet
Slippet kom samme dag som vedtaket fra det amerikanske departementet for innenlandssikkerhet sto i Federal Register og utelukket DeepSeeks produkter fra føderale sivile anskaffelser og krevde dem fjernet fra sivile etaters it — inkludert tredjepartsprodukter «utviklet ved bruk av DeepSeek-implementasjoner». Kunngjøringen ble registrert 19. oktober og publisert 20. oktober.
The Decoder, som først omtalte DeepInfer-slippet, skriver at DeepSeek framstilte målet som å hjelpe fellesskapet med å senke beregningskostnader og energibruk, og at et følgebibliotek, deepseek-recipe, gjenskaper tokenhåndteringen i DeepSeeks offisielle API slik at egne utrullinger oppfører seg likt.
Hva man skal følge
To ting. Om DeepSeek slipper de manglende lagene for cache, ruting og balansering, som ville gjøre DeepInfer fra motor til utrullbar stakk. Og om noen utenfor DeepSeek publiserer gjenskapte tall på Ascend 950-maskinvare: kodelageret har et sveipeskript nettopp for det, og noe uavhengig resultat har ennå ikke dukket opp. Om morgenen 21. oktober hadde kodelageret rundt 14 400 stjerner, 1 400 forgreninger og 124 åpne fletteforespørsler, med to bidragsytere oppført.
