DeepSeek 开源推理框架 DeepInfer，解释自部署为何未必更便宜
精选理由
DeepSeek 把自家生产环境的推理引擎 DeepInfer 开源了，能看懂官方 API 为什么便宜，想自己部署模型的人值得翻翻代码。
DeepSeek 开源了支撑官方 API 服务的推理框架 DeepInfer。该框架支持多卡并行分担计算、先生成候选词再批量验证以加快输出，并优化请求调度减少机器空闲。DeepInfer 目前主要支持 DeepSeek-V4.1-Flash，同时兼容英伟达 SM100 和华为昇腾 950。缓存管理和跨副本负载均衡尚未完整开源，因此照搬代码仍难以完全复现官方 API 的低成本。
原文 · Lxfater
为什么模型都开源了，自己部署，却未必比直接用 DeepSeek 官方 API 便宜？
DeepSeek 这次把部分答案公开了：DeepInfer
他们自己用来支撑大规模服务的推理框架。
下载模型只是第一步哈
怎么让机器少闲着、少做重复计算、同时服务更多人，这才是降低成本的关键。
这次开源的 DeepInfer，就是负责把模型高效跑起来的引擎：
• 让多张卡一起干活，分担计算 • 先生成几个候选词，再一起验证，加快输出 • 把请求安排得更紧凑，减少机器等待 • 支持按指定格式输出，比如 JSON
目前主要支持 DeepSeek-V4.1-Flash，同时支持英伟达 SM100 和华为昇腾 950。
不过，完整的缓存管理和跨副本负载均衡还没全部开源，所以拿到这套代码，也不一定能立马抄作业。
但对想自己部署、研究推理优化的人来说，现在多了一份来自实际生产服务的实现可以参考。
https://t.co/PyaobEaUnE
