SlackTier：把 DeepSeek-V4.1 的 Engram 查找表放进 NVMe 与远程内存
Placing LLM Lookup Tables by Per-Layer Prefetch Deadlines
SGLang 生态的部署方可以直接抄这份作业：203 GB 的 Engram 表不再霸占主机内存，挪到 NVMe 只慢 1.4%，省下的内存当 KV cache 还能提 36% 吞吐。跑 DeepSeek-V3.x 系列多卡推理、被内存成本卡着扩容的团队值得照着论文实现一遍。
DeepSeek-V4.1 的 203 GB Engram n-gram 表目前常驻主机 DRAM，占掉 4-GPU 推理进程 223 GiB 内存中的 190 GiB。论文指出这些表的行索引只取决于输入 token，查找可以在每步开始时就发出并与前面的层重叠执行；V4.1 的两个 Engram 层时间窗相差 30 倍（0.3 ms 对 9.3 ms），这个期限差异决定了每张表能放到哪一级存储。
作者在 SGLang 上实现了 SlackTier：在 decode CUDA graph 内部于每步起始统一发出全部查找，先读短窗层，并在层间切分一个小的 GPU 行缓存，结果与原始 gather 位完全一致。Layer 14 的表可以不经缓存直接放 NVMe，而两张表都放四块 NVMe 盘时，agent 与 chat 回放的每 token 平均耗时最多只增加 1.4%，主机内存从 212 GiB 降到 34 GiB。通过 RDMA 从另一节点内存读取时甚至完全不需要缓存，一份副本可服务两个实例。
对部署者的实际收益在于：把腾出的内存用作 host KV cache，在相同内存预算下 KV 受限的 agent 工作负载中位吞吐提升 36%，p90 首 token 时间从 38 s 降到 24 s。论文还给出一个基于实测读取时间的模型，可预测各配置下的减速幅度，静态热集在会话复用流量中迁移效果不佳这一点也被实验证实。
Placing LLM Lookup Tables by Per-Layer Prefetch Deadlines
DeepSeek-V4.1's 203 GB of Engram n-gram tables sit in host DRAM today, taking 190 of the 223 GiB a 4-GPU serving process uses. Row indices depend only on input tokens, so reads can start with each step and overlap earlier layers. V4.1's two Engram layers have windows that differ by 30x (0.3 vs. 9.3 ms). We show that this deadline, together with session reuse and contention on a shared device, decides which tier each table can use and which layers need cache, and we give a model that predicts the resulting slowdown from measured read times. Agent and chat traffic reuse rows within sessions, and static hot sets transfer poorly. We build SlackTier, a table tier for SGLang that issues all lookups at step start. It reads the short-window layer first and splits a small GPU row cache across layers. The path runs inside the decode CUDA graph and is bit-exact with the original gather. Layer 14's table can go to NVMe uncached with no measurable decode cost. With both tables on four NVMe disks, mean time per output token on agent and chat replays rises at most 1.4% over unmodified SGLang, and host memory falls from 212 to 34 GiB. Both tables need no cache when read over RDMA (remote direct memory access) from another node's memory; one copy serves two instances. On a KV-constrained agent workload, using the freed memory as host KV cache at the same memory budget raises median throughput by 36% and cuts median p90 time to first token from 38 to 24 s.
本条情报归属 AITOP「论文」核心栏目，重点聚焦中国 AI 产业与国产大模型生态。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：DeepSeek-V4.1、SGLang、Engram、推理优化，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「arXiv cs.LG」（@Wen Huang, Jack Liu），经 AITOP 多维评分管线结构化提炼。
