论文Agent 与开发者13:16TideCache:面向混合架构 LLM 的 CPU-GPU 缓存调度系统SGLang 团队新出的缓存调度方案,专门解决混合架构模型缓存难管的问题。实测 agent 吞吐最高翻倍,TTFT 提升三倍。自己搭服务跑 agent 或长上下文的开发者直接能抄作业。#TideCache#SGLang#KV缓存#推理模型aarXiv cs.LG@Jinbin Luo 等 6 人原文稍后读已读值得跟进有用关注 TideCache