Meta 公开 Cap-and-Track 推理调度设计,分类服务少用 43% H100
Meta 把自家生产环境跑了几个月的推理调度方案写成了论文,亮点是完全不需要预测输出长度,只靠后端拒绝信号自动跟容量。同一流量下省了 43% 的 H100,跑大规模推理服务的团队可以直接抄设计思路。
Meta 把自家生产环境跑了几个月的推理调度方案写成了论文,亮点是完全不需要预测输出长度,只靠后端拒绝信号自动跟容量。同一流量下省了 43% 的 H100,跑大规模推理服务的团队可以直接抄设计思路。
做推理服务部署的工程师应该看看这篇。它不换模型,只改调度:按实测尾延迟给每个解码步留余量,Qwen3-8B 上 SLO goodput 直接翻到基线的 2.4–2.9 倍,8 卡分离部署下达标请求数翻倍。比 vLLM 这类常规 SLO 调度器稳,适合流式和实时场景。
这篇论文解释了为什么解码长度预测器换个模型就失效,还给出了理论证明,做推理调度的开发者可以看看。