vLLM 升级 EPD 分离式推理：降低 TTFT 并提升单卡吞吐
vLLM 发布了最新的 EPD（Encoder-Prefill-Decode）分离式推理升级，重点降低了 TTFT（首 token 延迟），并按所有 encoder GPU 计入总 GPU 数的前提下提升了单卡吞吐。此次升级建立在 DeepInfer 展示的 EPD 分离架构价值之上，将编码器、预填充和解码阶段解耦到不同 GPU 上运行。
在工程整合方面，新的 EPD 改进与 vLLM Router、SMG（智能调度组件）以及 llm-d 项目打通，构成一条完整的分离式服务栈。用户可以在路由层感知各阶段负载，把多模态模型的编码开销从解码 GPU 上剥离，从而缓解长提示词和多模态输入场景下的排队问题。
对部署多模态和低延迟在线服务的团队来说，这类 Prefill/Decode 分离方案正成为 vLLM 生态的主流方向，DeepInfer 的基准也验证了分离后资源利用率的收益。
vLLM EPD, now upgraded 🚀
DeepInfer demonstrated the value of EPD disaggregation. vLLM’s latest EPD improvements deliver lower TTFT and higher throughput per GPU, counting all encoder GPUs, integrated with vLLM Router, SMG, and llm-d!
Read more here!👇 https://t.co/1N03mbEXo0
本条情报归属 AITOP「产品」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：vLLM、推理优化、DeepInfer、llm-d，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「vLLM」（@vllm_project），经 AITOP 多维评分管线结构化提炼。
