事件专题 ·多源确认

DeepSeek 开源推理引擎 DeepInfer,64 卡吞吐达 170 万 tok/s

DeepSeek 开源了生产环境推理引擎 DeepInfer,该引擎目前在其线上服务 V4.1 Flash。单路对话可达 325 tok/s,64 张 Nvidia Blackwell GPU 集群总吞吐约 170 万 tok/s。代码已开源,可在本地部署运行 AI 模型。

当前结论

DeepSeek 把自家线上用的推理引擎 DeepInfer 开源了,单卡聊天 325 tok/s,64 张 Blackwell 跑到 170 万 tok/s,想自建推理服务的可以看看。

11 个信源81° AI 热度最后更新 2026/10/20 12:42:02

证据链

11 个信源
相关来源 6LMSYS Org (SGLang)
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。