主要来源arXiv cs.AI
查看原文事件专题 ·单一信源
Stint:让长输出 LLM 服务中的 KV 缓存抢占不再浪费算力
Stint 是一个针对推理型 LLM 长输出场景的服务系统,解决 KV 缓存占满 GPU 内存后请求被反复抢占、状态丢失又恢复的 KV thrashing 问题。论文指出,现有系统在某些情况下会让超过五分之一的请求卡住超过一分钟。 技术机制上,Stint 将被抢占请求的 KV 缓存以定长快照形式存入 contiguous-first 的 CPU 内存池,通过 exact-extent 分配器管理,配合融合的 K/V gather/scatter 内核与双缓冲搬运数据;读回时按年龄排序,并给恢复的请求一轮保护性解码,避免立刻再次被抢占,同时用解码隐藏状态估计剩余长度来选择牺牲请求。 实测中,在 H200 GPU 上用 Qwen3-32B 回放奥数数学题场景,Stint 下没有请求停顿超过 50 秒,p99 每输出 token 延迟相对同引擎的重计算方案下降 50.7%,整体回放提前 10.7% 完成,吞吐提升 12.0%。
当前结论
跑推理服务的人都知道内存被打满后请求互相挤兑有多难受。Stint 把被抢占请求的 KV 快照挪到 CPU 再搬回来,卡一分钟以上的请求直接消失,p99 延迟砍半。自己搭 vLLM/SGLang 之类服务的人值得看看思路。
2 个信源39° AI 热度最后更新 2026/11/15 16:32:44
证据链
2 个信源相关来源 1Gorden Sun
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。