O que foi publicado
A DeepSeek publicou o DeepInfer, a estrutura de inferência que, segundo diz, sustenta os seus próprios serviços de produção em grande escala, sob a licença Apache 2.0. O repositório descreve o lançamento como «inferência offline com as funcionalidades essenciais necessárias para servir em escala».
A inferência é a metade pouco vistosa de operar um modelo de linguagem: o software de serviço que transforma um conjunto de pesos treinados numa API que responde depressa e barato. Os laboratórios raramente a abrem. A DeepSeek abriu agora uma versão da sua, e o pormenor que conta é qual versão.
Um modelo, dois aceleradores
O DeepInfer suporta exatamente um modelo — o DeepSeek-V4.1-Flash — e descarrega por omissão o ponto de verificação DeepSeek-V4.1-Flash-1017. É o modelo que a DeepSeek colocou este mês por trás da sua própria API Flash.
A lista de hardware é a linha mais interessante. O DeepInfer corre em GPU Nvidia SM100 e em NPU Huawei Ascend 950, e o script de compilação aceita nvidia ou ascend como destino. Os requisitos diferem em conformidade: CUDA 13 para a via Nvidia, CANN 9.2 da Huawei para a via Ascend. Um laboratório chinês entregar suporte de primeira linha para um acelerador nacional a par do mais recente da Nvidia diz algo sobre onde espera que os seus utilizadores estejam a correr.
O que falta de propósito
O repositório é invulgarmente franco quanto à distância entre isto e o que a DeepSeek corre internamente. Sob um título sobre o que é «necessário para um serviço de inferência completo (não incluído neste lançamento)», enumera três itens: um sistema de cache KV, a desagregação de prefill e decode — sobre a qual diz que «a maior parte da funcionalidade de motor necessária já está implementada» — e o balanceamento de carga entre réplicas de paralelismo de dados, tanto para prefill como para decode.
Não são notas de rodapé. São as camadas que transformam um motor num serviço, e é aí que assenta boa parte da vantagem de custo numa implantação grande. O que foi publicado é a parte que executa; a parte que encaminha, armazena em cache e equilibra não foi.
Os números que não estão lá
O README do DeepInfer liga a gráficos de prefill e decode e indica as condições — «medido em 4 GPU SM100 para prefill e 64 para decode, cada uma dentro de um domínio de escalamento» — mas a página não traz qualquer valor de débito ou latência em texto. O conjunto de funcionalidades listado é concreto: paralelismo de dados na atenção, paralelismo de contexto equilibrado, paralelismo de peritos com balanceamento, escalonamento assíncrono, inferência invariante ao lote, amostragem determinista e saídas estruturadas.
A DeepSeek também credita as suas fontes. Os agradecimentos dizem que o DeepInfer «foi originalmente construído sobretudo a partir do vLLM, com inspiração adicional do SGLang e do TensorRT-LLM». É, portanto, uma bifurcação endurecida da pilha de serviço aberta que o resto do setor já usa, e não uma linhagem separada.
O momento
O lançamento ocorreu no mesmo dia em que a ordem do Departamento de Segurança Interna dos EUA surgiu no Registo Federal, excluindo os produtos da DeepSeek das aquisições civis federais e exigindo a sua remoção dos sistemas informáticos das agências civis, incluindo produtos de terceiros «desenvolvidos usando implementações da DeepSeek». O aviso foi registado a 19 de outubro e publicado a 20.
O The Decoder, que noticiou primeiro o lançamento, diz que a DeepSeek enquadrou o objetivo como ajudar a comunidade a reduzir custos de computação e consumo de energia, e que uma biblioteca complementar, a deepseek-recipe, reproduz o tratamento de tokens da API oficial para que as implantações próprias se comportem da mesma maneira.
O que acompanhar
Duas coisas. Se a DeepSeek publicar as camadas em falta de cache, encaminhamento e balanceamento, o que faria do DeepInfer uma pilha implantável em vez de um motor. E se alguém fora da DeepSeek publicar números reproduzidos em hardware Ascend 950: o repositório traz um script de varrimento precisamente para isso, e ainda não apareceu qualquer resultado independente. Na manhã de 21 de outubro o repositório tinha cerca de 14 400 estrelas, 1 400 bifurcações e 124 pedidos de integração abertos, com dois contribuidores listados.
