DeepSeek 开源推理引擎 DeepInfer，64 卡吞吐达 170 万 tok/s
DeepSeek 把自家线上用的推理引擎 DeepInfer 开源了，单卡聊天 325 tok/s，64 张 Blackwell 跑到 170 万 tok/s，想自建推理服务的可以看看。
#Nvidia Blackwell
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Nvidia Blackwell」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月20日
DeepSeek 把自家线上用的推理引擎 DeepInfer 开源了，单卡聊天 325 tok/s，64 张 Blackwell 跑到 170 万 tok/s，想自建推理服务的可以看看。
