事件专题 ·官方一手

VelServe 用尾延迟校准调度解决 LLM 解码抖动问题

arXiv 论文提出 VelServe,一个针对交互式 LLM 服务 SLO(TTFT 和 TBT)的调度器,解决解码阶段的抖动问题。核心机制是根据每次迭代延迟的实测尾部分布,校准每个解码步可承载的 prefill 工作量,按 SLO 要求的迟到概率预留余量,防止一步超时拖累整个 batch。由于预留余量会拖慢 prefill,VelServe 优先服务等待时间最短的 prompt;在 prefill 与解码分离部署下,它通过控制请求准入间隔,保证没有请求等待超过其 P99 目标允许的慢准入步数。实验覆盖三种注意力架构和多种负载:在 Qwen3-8B 和 DeepSeek-V4-Flash 上,VelServe 达到最强基线 2.4–2.9 倍的 SLO goodput;在 DeepSeek-V2-Lite 上至少 4.4 倍。在 8 张 GPU 上做 prefill/decode 分离时,其满足 SLO 的请求数超过现有最先进基线的 2 倍。

当前结论

做推理服务部署的工程师应该看看这篇。它不换模型,只改调度:按实测尾延迟给每个解码步留余量,Qwen3-8B 上 SLO goodput 直接翻到基线的 2.4–2.9 倍,8 卡分离部署下达标请求数翻倍。比 vLLM 这类常规 SLO 调度器稳,适合流式和实时场景。

2 个信源39° AI 热度最后更新 2026/11/13 16:34:37

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。