论文Agent 与开发者12:16FrontierReplay:混合架构模型的无切分精确前缀缓存方案做推理服务或部署混合架构模型(比如线性注意力+循环层这类)的团队该看看。它不用切分 prefill 就能在可预测的边界处建精确缓存,TTFT 最高降 8.9 倍,精度一点不掉,比近似 replay 靠谱。#FrontierReplay#prefix caching#混合架构#推理优化aarXiv cs.LG@Zekun Wang, Yizhuo Wang原文稍后读已读值得跟进有用关注 FrontierReplay