DeepInfer 是 DeepSeek 完全开源的生产级大模型推理引擎，基于 vLLM 构建，用于支撑其线上推理服务。发布后热度很高：8 小时在 GitHub 收获 6.3K 星，社区同时放出了配套的数据转换工具包 deepseek-recipe 和生产级编解码组件。
DeepInfer 近期进展
当前焦点与观察点
目前的讨论集中在三件事上。其一是性能数据的真实性：170 万 tok/s 的吞吐量缺乏一致的基准条件说明，需要第三方复现才能下定论。其二是成本问题——有分析指出，自部署未必比直接调用 API 更便宜，因为 DeepInfer 带来的吞吐提升要在长时间高利用率下才能摊薄硬件成本，中小团队自建集群可能得不偿失。
其三是生态定位。DeepInfer 选择站在 vLLM 等成熟项目之上而非另起炉灶，同时兼容华为芯片，这让它同时具备“开源工程实践输出”和“算力自主”两个叙事。接下来值得观察的是：社区能否复现官方数据、SGLang 与 vLLM 上游是否会吸收其优化、以及华为芯片支持的实际成熟度。对考虑自部署的团队来说，先在低负载场景试运行、对比 API 成本，仍是更稳妥的路径。