想自己部署 DeepSeek 又嫌折腾的朋友看看，作者说 vLLM 一个工具就够了，不用堆一堆组件。
一篇帖子提出，仅靠 vLLM 这一个推理框架就足以复现 DeepSeek 的性能。vLLM 是目前主流的开源推理引擎，支持 DeepSeek 系列模型的部署。原文来自 Xianbao_QIAN 在 X 平台上的分享。
vLLM is all you need to reproduce DeepSeek’s performance.
讯飞出了个只有 4B 参数的小模型 Spark-X2.6-4B，能吃到 100 万 token 上下文，Apache 2.0 随便商用，vLLM 首日就支持，想本地部署的可以试试。
这篇论文教你让稀疏注意力模型多层共用一套候选池，不用重训，vLLM 里给 DeepSeek-V4-Flash 实测提速 1.4 倍还省电，做推理优化的值得看。
不用改模型，装个 eagle_harness 配合 vLLM 就能让 Qwen 这类模型出字快近 3 倍，实测数据都给了，自己搭服务的可以试试。
vLLM 用 Wide-EP 和 EPLB 基本追平了 DeepSeek 官方推理栈的性能，decode 差距 6% 以内，还有单卡 1M tokens/s 的数据，自己搭推理服务的可以看看。
