GLM-5.3 长上下文服务优化：远程 KV 缓存分片与异步加载实践

研究团队在 8xB300 节点上用 PCP8 部署 FP8 MoE 模型 GLM-5.3，测试 LMCache + Valkey 远程 KV 缓存层，发现同步加载使 16k token 的 p99 从 3.96 秒涨到 17.3 秒。实测一次远程命中耗时 0.88 秒，而重新计算 prompt 只需 0.31 秒，p99 飙到 83.32 秒时 GPU 利用率仅 7%。作者推导出成本模型：命中仅在带宽超过 2.53 GB/s 时划算，且由于每次命中约 0.33 秒的固定开销，短于约 17k token 的 prompt 无论如何都不该走远程缓存。按 rank 分片后 GET 带宽提升 6.3 倍至 10.76 GB/s，配合异步加载，命中率 98.5% 的流的 p99 从 83.32 秒降到 0.67 秒。分片方案让 prefill 吞吐提升 14%，叠加上游 kernel 修复后达 34%，相关改动已提交给 LMCache 上游。