Ce qui a été publié
DeepSeek a publié DeepInfer, le cadre d’inférence qui, selon l’entreprise, fait tourner ses propres services de production à grande échelle, sous licence Apache 2.0. Le dépôt décrit la livraison comme « de l’inférence hors ligne avec les fonctions essentielles nécessaires au service à grande échelle ».
L’inférence est la moitié ingrate de l’exploitation d’un modèle de langage : le logiciel de service qui transforme un jeu de poids entraînés en une API qui répond vite et à bas coût. Les laboratoires l’ouvrent rarement. DeepSeek vient d’ouvrir une version du sien, et le détail qui compte est de savoir laquelle.
Un modèle, deux accélérateurs
DeepInfer prend en charge exactement un modèle — DeepSeek-V4.1-Flash — et télécharge par défaut le point de contrôle DeepSeek-V4.1-Flash-1017. C’est le modèle que DeepSeek a placé ce mois-ci derrière sa propre API Flash.
La liste du matériel est la ligne la plus intéressante. DeepInfer fonctionne sur les GPU Nvidia SM100 et sur les NPU Huawei Ascend 950, et le script de compilation accepte nvidia ou ascend comme cible. Les prérequis diffèrent en conséquence : CUDA 13 pour la voie Nvidia, CANN 9.2 de Huawei pour la voie Ascend. Qu’un laboratoire chinois livre une prise en charge de premier rang pour un accélérateur national aux côtés du plus récent de Nvidia en dit long sur l’endroit où il s’attend à voir tourner ses utilisateurs.
Ce qui manque délibérément
Le dépôt est d’une franchise inhabituelle sur l’écart entre cette version et ce que DeepSeek exploite en interne. Sous un intitulé consacré à ce qui est « nécessaire à un service d’inférence complet (non inclus dans cette version) », il énumère trois éléments : un système de cache KV, la désagrégation prefill/decode — dont il précise que « l’essentiel des fonctions moteur requises est déjà implémenté » — et la répartition de charge entre réplicas parallèles de données, pour le prefill comme pour le decode.
Ce ne sont pas des notes de bas de page. Ce sont les couches qui font d’un moteur un service, et c’est là que se loge une grande part de l’avantage de coût dans un déploiement de taille. Ce qui a été publié, c’est la partie qui exécute ; la partie qui route, met en cache et équilibre ne l’a pas été.
Les chiffres absents
Le README de DeepInfer renvoie à des courbes de prefill et de decode et précise les conditions — « mesuré sur 4 GPU SM100 pour le prefill et 64 pour le decode, chacun dans un même domaine de mise à l’échelle » — mais la page ne contient aucun chiffre de débit ni de latence en texte. L’inventaire des fonctions, lui, est précis : parallélisme de données en attention, parallélisme de contexte équilibré, parallélisme d’experts avec équilibrage, ordonnancement asynchrone, inférence invariante au lot, échantillonnage déterministe et sorties structurées.
DeepSeek cite également ses sources. Les remerciements indiquent que DeepInfer « a été initialement construit principalement sur vLLM, avec une inspiration supplémentaire de SGLang et TensorRT-LLM ». Il s’agit donc d’un embranchement durci de la pile de service ouverte que le reste du secteur utilise déjà, et non d’une lignée distincte.
Le calendrier
La publication est tombée le jour même où l’ordre du département américain de la Sécurité intérieure a paru au Federal Register, excluant les produits DeepSeek des marchés civils fédéraux et imposant leur retrait des systèmes informatiques des agences civiles, y compris les produits tiers « développés à l’aide d’implémentations DeepSeek ». L’avis a été enregistré le 19 octobre et publié le 20.
The Decoder, qui a rapporté en premier la sortie de DeepInfer, indique que DeepSeek présente l’objectif comme une aide à la communauté pour réduire les coûts de calcul et la consommation d’énergie, et qu’une bibliothèque compagnon, deepseek-recipe, reproduit le traitement des jetons de l’API officielle afin que les déploiements autonomes se comportent de la même façon.
Ce qu’il faut surveiller
Deux choses. Si DeepSeek publie les couches manquantes de cache, de routage et d’équilibrage, ce qui ferait passer DeepInfer du moteur à la pile déployable. Et si quelqu’un hors de DeepSeek publie des chiffres reproduits sur matériel Ascend 950 : le dépôt fournit un script de balayage précisément pour cela, et aucun résultat indépendant n’est encore paru. Au matin du 21 octobre, le dépôt comptait environ 14 400 étoiles, 1 400 bifurcations et 124 demandes de fusion ouvertes, avec deux contributeurs listés.
