事件专题 ·官方一手

RidgeFill:免训练的后期层缓存填充方法加速长文本 prefill

RidgeFill 是一种免训练的 prefill 加速方法:模型下半部分层正常计算,从分割层的状态用一次岭回归拟合出的映射预测后续各层输入,直接填充 KV 缓存。在 Qwen3.8-27B 上的 llama.cpp 分支中,16K 到 120K token 场景下首 token 时间加快 1.25 到 1.31 倍,RULER 下降 1.2 到 1.4 分;在 Qwen3.8-Flash-Next 的 vLLM 上达到 1.50 到 1.60 倍加速,RULER 检索任务得分 99.8 对比完整计算的 100.0。与 YOCO 和 DeepSeek-V4.1-Flash 需要把投影训练进模型不同,RidgeFill 无需训练即可改装到已有模型上。

当前结论

不用重新训练模型,靠一次岭回归就能把长文本 prefill 提速到 1.5 倍以上,LLM 推理部署的可以看看这套测量方法。

5 个信源51° AI 热度最后更新 2026/11/6 16:52:41

证据链

5 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。