模型多源确认

百度开源 Unlimited OCR 2:显存从 47GB 降到 1.77GB,读完 3623 页哈利·波特

精选理由

百度开源的 Unlimited OCR 2 用稀疏注意力把显存从 47GB 压到 1.77GB,还能读完 3623 页哈利·波特,权重直接可下。

百度文心开源了 Unlimited OCR 2 OCR 模型,核心思路是用稀疏注意力替代全局注意力,让每一步处理更少内容而不是扩大上下文窗口。显存占用从 47GB 降到 1.77GB,降幅超过 96%。长文档识别准确率达到通用大模型的 2.3 倍,官方演示中完整读完了 3623 页的哈利·波特。全权重已在 GitHub 和 HuggingFace 上开源。

图片来源 · berryxia
原文 · berryxia

所有人都在卷更大的上下文窗口,但读完 3623 页哈利·波特的那个 OCR 模型,靠的居然是"每一步看得更少"。

百度文心刚开源的 Unlimited OCR 2,用稀疏注意力替代全局注意力,显存从 47GB 降到 1.77GB,准确率碾压通用大模型 2.3 倍。

GitHub 和 HuggingFace 全权重已开源👇 https://t.co/R8HcaxLTAC