#Stint

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Stint」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月17日
Stint:让长输出 LLM 服务中的 KV 缓存抢占不再浪费算力

跑推理服务的人都知道内存被打满后请求互相挤兑有多难受。Stint 把被抢占请求的 KV 快照挪到 CPU 再搬回来,卡一分钟以上的请求直接消失,p99 延迟砍半。自己搭 vLLM/SGLang 之类服务的人值得看看思路。

事件专题
arXiv cs.AI@Ziji Shi 等 6 人原文