KVCache Meetup Korea：CXL 内存池化与 LLM 推理优化实践分享

在 PyTorchKR 与 XCENA 联合主办的 KVCache Meetup Korea 上，XCENA、SK hynix、FuriosaAI 和 LMCache 四家公司的工程师分享了 LLM serving 的架构权衡。议题包括基于 Maru 的 CXL 内存池化、prefill 与 decode 阶段 GPU 算力和 HBM 带宽的 roofline 分析、RNGD 芯片上的 batch 调度，以及 LMCache MP Mode 的进程隔离缓存服务。演讲者强调，真实优化需要从加速器、内存架构到运行时引擎的每一层协同。