Zyphra 推出 ZHA 分层注意力机制，开源模型免重训即可处理超长文本
Zyphra 开源了个新方法 ZHA，不用重训模型，加个小模块就能让通义千问这类模型读超长文档还更快，准确率还比 MSA 高 12.7 个点。
Zyphra 研究团队开发了名为 ZHA 的分层注意力机制，把历史内容整理成树状目录结构，模型按需查找相关片段而非全文检索。现有开源模型无需重新训练，只需用约 10 亿 token 数据训练一个轻量级索引模块即可接入。接入 ZHA 的通义千问在 25.6 万 token 的检索、数学推理和代码测试中，每次只读取 1% 到 6% 的历史内容，长文本检索准确率比稀疏注意力工具 MSA 高 12.7 个百分点。按团队测算，文本超过 4.8 万 token 后 ZHA 开始提速，超过 100 万 token 后优势全面拉开。
ZHA（Zyphra分层注意力机制）：用树状目录索引帮AI大模型快速处理超长文本
现在的AI大模型在阅读长文章或进行长时间对话时，随着字数增加，需要反复从头核对所有历史内容，导致计算量成倍飙升、运行速度变慢。
为了解决这个问题，Zyphra研究团队开发了名为ZHA的分层注意力机制。这套方法把AI读过的历史内容层层打包，整理成类似书本目录的树状结构。每次AI需要回忆前面的信息时，会直接顺着顶层目录往下查找，只挑出跟当前问题相关的片段来读。现有的开源大模型不需要重新训练，只要需要额外用10亿token的数据训练一套轻量级的目录索引模块，接入就能使用。
改造完成后，AI在保持原有智商的前提下实现了大幅提速。在25.6万token的超长文本检索、数学推理和写代码测试中，接入ZHA的通义千问模型每次只需要读取1%到6%的历史记录，就能拿到和原本全文阅读几乎一样的分数，长文本检索准确率比同类稀疏注意力工具MSA高出12.7个百分点。按照Zyphra团队的测算，当文本长度达到4.8万token时，ZHA的速度开始超越传统模式；文本超过100万token后优势全面拉开，未来甚至能支撑AI处理上亿乃至十亿token的超长内容。
论文：https://t.co/7iCayZ85OM
