DeepSeek 开源推理引擎 DeepInfer,基于 vLLM 构建
DeepSeek 把自家的推理引擎 DeepInfer 开源了,还是基于 vLLM 做的,做推理部署的同学可以看看它有什么新思路。
DeepSeek 发布了推理引擎 DeepInfer,采用 Apache 2.0 许可证并归功于开源社区。DeepInfer 最初主要基于 vLLM 项目构建,vLLM 团队对此表示感谢。vLLM 表示已在优化 DeepSeek V4.1 Flash 的推理效率,并将吸收 DeepInfer 中的思路继续改进。
Grateful to @deepseek_ai for releasing DeepInfer, initially built primarily on @vllm_project, under Apache 2.0 and crediting the open-source community!
We've worked hard on DeepSeek V4.1 Flash inference efficiency and will keep improving with ideas from DeepInfer! Stay tuned 🙌 https://t.co/okrttNqkYa