文心 Unlimited OCR 2 开源，SR-SWA 机制处理 3623 页文档
做 OCR 横评的博主实测了文心这个开源 OCR，整本 3623 页丢进去不用切分，显存从 47GB 降到 1.77GB，长文档处理可以直接抄作业。
#滑动窗口注意力
共 2 条 · 7 天 0 条 · 30 天 1 条
信息流里打上「滑动窗口注意力」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月27日
9月29日
滑动窗口 KV 缓存可传递窗口外信息：Qwen、Llama、Mistral 等五模型实验
研究者测了五个开源模型，发现 Mistral 7B 和 Muse Glimmer 能从已滑出窗口的缓存里找回信息，做长上下文推理的可以看看。