模型精选
vLLM 性能追平 DeepSeek 自研推理引擎 DeepInfer
精选理由
vLLM 把 DeepSeek 自家引擎 DeepInfer 的性能追平了，还吸收了它的开源内核，跑 DeepSeek-V4.1-Flash 的可以关注下。
vLLM 团队宣布其推理性能已追平 DeepInfer——DeepSeek 为 DeepSeek-V4.1-Flash 自研的推理引擎，测试覆盖 batch size 8 到 256 的 decode 配置。对比条件上，vLLM 用 DEP32 达到了 DeepInfer EP64DP64 的水平。DeepInfer 最初就是基于 vLLM 构建，vLLM 通过集成 DeepSeek 的开源内核并优化 prefill 和 decode 阶段实现追平。
原文 · vLLM
vLLM matches DeepInfer, DeepSeek's own engine for DeepSeek-V4.1-Flash, on DeepSeek's decode configuration across batch sizes 8 to 256, and does it at DEP32 against DeepInfer’s EP64DP64.
DeepInfer was originally built on vLLM. By integrating DeepSeek's open-source kernels and extensively optimizing prefill and decode, vLLM now matches DeepInfer's performance curves.
