Zyphra 发布 ZHA：树状索引稀疏注意力，无需重训让冻结 LLM 支持长上下文
Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention
Zyphra 搞了个稀疏注意力 ZHA，冻结模型加 4B token 蒸馏就能上 256K 检索，不用重训，做长上下文的可以看看。
Zyphra 推出 Zyphra Hierarchical Attention（ZHA），一种树状索引的稀疏注意力方法，可直接改造已冻结的 LLM 而无需重训权重。改造过程只用 4B token 做蒸馏训练，即可让模型在推理和 256K 检索基准上与稠密注意力表现持平。该方法目标是实现真正低于二次复杂度的注意力计算。
Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention
Zyphra Hierarchical Attention (ZHA) is a tree-indexed sparse attention method that retrofits frozen LLMs with 4B tokens of distillation, matching dense attention on reasoning and 256K retrieval benchmarks. The post Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention appeared first on MarkTechPost .
