KVCache Meetup Korea：CXL 内存池化与 LLM 推理优化实践分享
韩国开发者聚会的技术干货：SK hynix 和 FuriosaAI 等团队拆解 LLM 推理 serving 的内存和调度优化，做部署的可以看看。
#LMCache
共 3 条 · 7 天 0 条 · 30 天 2 条
信息流里打上「LMCache」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月4日
10月16日
GLM-5.3 长上下文服务优化：远程 KV 缓存分片与异步加载实践
给做大模型推理服务的同学：GLM-5.3 上远程 KV 缓存反而把 p99 拖到 83 秒的踩坑实录，还给了带宽阈值公式和修复方案。
9月29日
TempoKV：让 LLM KV 缓存调度更省内存的分层方案
vLLM 和 LMCache 里能直接用的 KV 缓存调度优化，快速层容量从 100 GiB 砍到 25 GiB 吞吐基本不掉，还把 p95 首 token 时间降了 48%。