DeepSeek 开源内部推理框架 DeepInfer 及生产级编解码组件

DeepSeek 将内部推理框架 DeepInfer 以 Apache 2.0 协议开源，配套的 Token 编解码组件 deepseek-recipe 采用 MIT 协议。框架默认拉取 DeepSeek-V4.1-Flash-1017 模型，支持 Attention DP、balanced CP、MoE 的 EP + EPLB 并行方案。推测解码通过 DSpark 加置信度调度验证实现，草稿长度默认为 5；DEEPINFER_BATCH_INVARIANT=1 可让不同 batch 组合的推理结果一致。硬件覆盖 NVIDIA SM100 和华为昇腾 950，官方披露单集群日吞吐达 155 万亿 Tokens。当前版本仅支持 offline inference，KV cache 系统、PD 分离等功能尚未开放。