#FrontierReplay

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「FrontierReplay」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月20日
FrontierReplay:混合架构模型的无切分精确前缀缓存方案

做推理服务或部署混合架构模型(比如线性注意力+循环层这类)的团队该看看。它不用切分 prefill 就能在可预测的边界处建精确缓存,TTFT 最高降 8.9 倍,精度一点不掉,比近似 replay 靠谱。

arXiv cs.LG@Zekun Wang, Yizhuo Wang原文