VelServe 用尾延迟校准调度解决 LLM 解码抖动问题
做推理服务部署的工程师应该看看这篇。它不换模型,只改调度:按实测尾延迟给每个解码步留余量,Qwen3-8B 上 SLO goodput 直接翻到基线的 2.4–2.9 倍,8 卡分离部署下达标请求数翻倍。比 vLLM 这类常规 SLO 调度器稳,适合流式和实时场景。
做推理服务部署的工程师应该看看这篇。它不换模型,只改调度:按实测尾延迟给每个解码步留余量,Qwen3-8B 上 SLO goodput 直接翻到基线的 2.4–2.9 倍,8 卡分离部署下达标请求数翻倍。比 vLLM 这类常规 SLO 调度器稳,适合流式和实时场景。