#ZHA

Zyphra 的论文提出 ZHA，几步蒸馏就能把现有模型改成亚二次注意力，1M 上下文以上比现有稀疏注意力方法快很多，做长上下文的值得看。