#Cap-and-Track

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Cap-and-Track」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月19日
Meta 公开 Cap-and-Track 推理调度设计,分类服务少用 43% H100

Meta 把自家生产环境跑了几个月的推理调度方案写成了论文,亮点是完全不需要预测输出长度,只靠后端拒绝信号自动跟容量。同一流量下省了 43% 的 H100,跑大规模推理服务的团队可以直接抄设计思路。

arXiv cs.LG@Benjamin Novotny 等 9 人原文