#长上下文

Meta 这篇论文把文档整理变成了 RL 训练任务，builder agent 提前建好文件系统，BrowseComp-Plus 上比检索基线高 33 个点，做长文档问答的可以看看。

给做大模型推理服务的同学：GLM-5.3 上远程 KV 缓存反而把 p99 拖到 83 秒的踩坑实录，还给了带宽阈值公式和修复方案。

清华 THUNLP 开源了个 KV cache 压缩方法，压到 1/32 还能在 RULER 上保持 96.7% 准确率，比 KVZip+ 的 40% 高出一大截，长文档检索场景可以直接试。

有个叫 SubQ Snap 的决策模型，专门干 agent 工作流里的判断活，384K 上下文，输入才 $0.05/MM，比用前沿模型便宜太多了。

elvis@omarsar0原文

一篇讲新注意力架构的论文，预填充快 21.9 倍还能保持 128K 长上下文召回，做长文本推理的可以看看

训练混合架构模型的朋友看看这篇：加了限制注意力访问历史的辅助损失后，长上下文任务提升明显，方法可直接套用。

长上下文缓存太吃内存的话看看这篇，KV² 不用重跑整个 prompt，预算压到 2% 还能比基线高 40 多分。

TheUnbiasedCo 发布的 Pareto 26.10 在 OpenRouter 上线，价格比旧版便宜近七成，还支持多模态和长上下文。

OpenRouter@OpenRouterAI原文

一帮研究者做了个叫 UniCache 的免训练压缩框架，多模态模型缓存能压 5 倍，长上下文吞吐还能快 1.78 倍，做部署的可以看看。

一篇注意力机制新论文，MoSAR 让模型自己学注意力的距离衰减方式，500M 参数实验里困惑度赢过 RoPE 和 ALiBi，长文本方向的可以看看。

这篇论文造了个诊断集，专门测长上下文模型“找到了但没用上”的问题，DeepSeek 两个模型都被测出检索满分但解读掉分，做长文本评测的可以看看。

一篇很实在的论文：作者发现长文档检索差的真正元凶是近处无关文字抢注意力，给出 LYRA 方法外加 ProxBench 基准，做了 RAG 的话值得看他们的实验数据。

一篇新论文 CompKV，重新设计了稀疏注意力里的 token 选择逻辑，长上下文推理自注意力最高快 6.85 倍，做推理优化的可以看看。

KV Cache 省显存的新思路：不看注意力看价值向量偏离度，MATH-500 上比老方法最高多约 20 分。

做长上下文推理的可以看看这篇：ARM 用可微路由记忆替代硬淘汰 token，缓存不再丢关键信息，延迟还可控。

朋友，你试试 xAI 的 Grok Bot，它特别擅长处理长文本和调用工具，比如帮你写代码或订车，比很多其他 AI 更方便。

eric zakariasson@ericzakariasson原文