#PhysisServe

共 1 条 · 7 天 1 条 · 30 天 1 条

vLLM 1 vLLM-Omni 1 推理优化 1 推理服务 1

信息流里打上「PhysisServe」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月20日

产品 Agent 与开发者精选13:07

vLLM 与 Physis-AI 联合发布推理服务系统 PhysisServe

vLLM 和 Physis-AI 一起搞了个推理服务系统 PhysisServe，靠流水线和多流调度同时压低延迟和提高吞吐，技术还会进 vLLM-Omni，做推理部署的可以盯一下。

#vLLM #PhysisServe #vLLM-Omni #推理服务

官方账号vLLM@vllm_project原文