DeepSeek 开源推理引擎 DeepInfer，64 卡吞吐达 170 万 tok/s
精选理由
DeepSeek 把自家线上用的推理引擎 DeepInfer 开源了，单卡聊天 325 tok/s，64 张 Blackwell 跑到 170 万 tok/s，想自建推理服务的可以看看。
DeepSeek 开源了生产环境推理引擎 DeepInfer，该引擎目前在其线上服务 V4.1 Flash。单路对话可达 325 tok/s，64 张 Nvidia Blackwell GPU 集群总吞吐约 170 万 tok/s。代码已开源，可在本地部署运行 AI 模型。
原文 · @atomic_chat_hq
DeepSeek's open-sourced engine hits 1.7M tok/s 🐳
@deepseek_ai released DeepInfer, which serves V4.1 Flash in production, with 325 tok/s for one chat and about 1.7M tok/s across 64 Nvidia Blackwell GPUs
Run AI models locally -> https://t.co/lW9A0SLtWj
