04:59
官方账号NVIDIA AI@NVIDIAAI
官方账号NVIDIA AI@NVIDIAAI精选
推荐理由：NVIDIA这篇博文把长上下文模型变慢的根源讲透了，训练前选对4个架构参数，服务成本能差很多。
KV-Cache
共 2 条相关 AI 资讯
8月4日
04:59
NVIDIA在AI Model Co-Design系列中发文指出，长上下文模型的推理速度在训练前就已被架构选择决定。随着上下文窗口扩大，注意力机制在推理成本中的占比快速上升，逐渐成为主要负担。文章梳理了4个决定性能上限的架构参数：group size、head dimension、KV-cache size和并行策略。这些选择同时影响系统吞吐量和单个用户的响应速度。
7月24日
09:38
09:38
官方账号arXiv cs.AI@Peng Xie
推荐理由：一篇论文证明了随机化KV-Cache驱逐能提供误差证书，覆盖率达97%。如果你关心推理加速中的精度损失量化，这方法很实用。