DeepSeek 开源内部推理框架 DeepInfer 及生产级编解码组件
DeepSeek 把自家跑 V4.1-Flash 的生产推理栈开源了，Apache 2.0 随便用，做私有化部署和算力成本核算的团队值得看看源码。
DeepSeek 将内部推理框架 DeepInfer 以 Apache 2.0 协议开源，配套的 Token 编解码组件 deepseek-recipe 采用 MIT 协议。框架默认拉取 DeepSeek-V4.1-Flash-1017 模型，支持 Attention DP、balanced CP、MoE 的 EP + EPLB 并行方案。推测解码通过 DSpark 加置信度调度验证实现，草稿长度默认为 5；DEEPINFER_BATCH_INVARIANT=1 可让不同 batch 组合的推理结果一致。硬件覆盖 NVIDIA SM100 和华为昇腾 950，官方披露单集群日吞吐达 155 万亿 Tokens。当前版本仅支持 offline inference，KV cache 系统、PD 分离等功能尚未开放。
DeepSeek 把内部的推理框架 DeepInfer 全面开源了，同时放出了生产级 Token 编解码组件 deepseek-recipe。
以前想复刻这条链路，只能在 vLLM 上自己改，现在官方把跑 V4.1-Flash 的生产栈直接摆了出来。
地址在 https://t.co/nVQWdm3QDh，Apache 2.0；recipe 是 MIT。
没有一行装完的命令，得从源码编：Linux、GCC 13+、Python 3.12、CUDA 13（昇腾用 CANN 9.2），先 export DEEPINFER_ACCELERATOR=nvidia 或 ascend，再 ./build.sh，然后 python examples/offline_inference.py。
默认自动拉 DeepSeek-V4.1-Flash-1017，要用本地权重就设 DEEPINFER_HF_MODEL_DIR。
具体能力上：并行支持 Attention DP / balanced CP，MoE 走 EP + EPLB。
推测解码是 DSpark 加置信度调度验证，DEEPINFER_ENABLE_MTP_VARLEN=1 打开，草稿长度由 DEEPINFER_USE_NEXTN_DECODE 控，默认 5。
SWA bounded replay 只重放有界后缀，砍掉一部分 decoder prefill，默认 compact 加 KEEP_TOKENS=140；异步调度默认开，CPU 批调度和设备执行重叠。
做评测的最该看下面这两个开关：DEEPINFER_BATCH_INVARIANT=1 让不同 batch 组合结果一致，再叠 ENABLE_MTP_VARLEN=0 和固定 seq_seed 就是确定性采样。
结构化输出支持 regex、JSON schema、EBNF，从 so_args 传。硬件覆盖 NVIDIA SM100 和华为昇腾 950。
要提醒的是这版只放 offline inference，KV cache 系统、PD 分离、DP 副本间负载均衡都没给，官方写得很直白。
底座本来就是 vLLM，等于把 DeepSeek 在大规模服务上做的改造打了一层包。 官方披露单集群日吞吐 155 万亿 Tokens，做私有化部署和算力成本核算的团队最该看。
说句实话：这版明显超出 520 字了，第三段的环境变量堆得太密，读起来像 README。
要发的话，我建议把能力段砍到三四个重点，只保留确定性采样那组开关，篇幅和可读性都会好很多。
