#RULER

共 7 条 · 7 天 1 条 · 30 天 6 条

信息流里打上「RULER」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月15日

清华 THUNLP 开源了个 KV cache 压缩方法，压到 1/32 还能在 RULER 上保持 96.7% 准确率，比 KVZip+ 的 40% 高出一大截，长文档检索场景可以直接试。

arXiv cs.LG@Yingfa Chen 等 4 人原文

10月6日

做长上下文推理的可以看看，这篇把 MLA 的共享思路搬进稀疏注意力索引，缓存省了 61%，速度还能快两倍多。

arXiv: DeepSeek@Zhaohui Wang 等 4 人原文

10月5日

长上下文缓存太吃内存的话看看这篇，KV² 不用重跑整个 prompt，预算压到 2% 还能比基线高 40 多分。

arXiv cs.AI@Johannes Wesch 等 3 人原文

9月24日

这论文把 KV-cache 压缩变成了能签合同的事：给定风险目标，自动算出能砍多少缓存，砍不了就回退全 KV。做长文本推理部署的可以看看。

arXiv cs.LG@Beomgu Kang 等 4 人3 个信源在谈原文

9月23日

论文多源确认10:16

一篇很实在的论文：作者发现长文档检索差的真正元凶是近处无关文字抢注意力，给出 LYRA 方法外加 ProxBench 基准，做了 RAG 的话值得看他们的实验数据。

arXiv cs.LG@Xiaoyu Yang 等 4 人3 个信源在谈原文

一篇教 RL 生成 SVG 的论文：把每条指令拆成 6 项评分细则当奖励，不需要标注数据，效果追平 DeepSeek-V3，做生成任务奖励设计的可以看看。

arXiv: DeepSeek@Hangyu Ran 等 5 人原文

7月13日

论文精选09:12

COBS在NSA基础上加了个二阶统计量，长上下文检索分数从0.3拉到0.82，接近稠密注意力但省了十几倍带宽，很实用。

arXiv: DeepSeek@Alexander Tian 等 5 人原文