#注意力机制

一群研究者给 Hopfield 网络换了个相位核，ImageNet 上检索容量直接拉到 50 倍，搞联想记忆的可以看看。

一篇做时序预测的论文，把注意力塞进 ODE 求解器里处理外生变量，不用硬对齐时间戳，8 个数据集验证有效，做预测的朋友可以看看。

一篇讲新注意力架构的论文，预填充快 21.9 倍还能保持 128K 长上下文召回，做长文本推理的可以看看

MoFA研究显示注意力函数选择作为先验，在分布内被掩盖，分布外重新显现，影响模型行为。

这篇论文解释了为什么混合模型不需要显式位置编码也能处理序列位置，对理解transformer架构很有价值。

一篇注意力机制新论文，MoSAR 让模型自己学注意力的距离衰减方式，500M 参数实验里困惑度赢过 RoPE 和 ALiBi，长文本方向的可以看看。

一篇改注意力机制的论文：value 不再做投影，改查 token 记忆表，推理还能省显存，做模型结构的可以看看。

KV Cache 省显存的新思路：不看注意力看价值向量偏离度，MATH-500 上比老方法最高多约 20 分。

做长上下文推理的可以看看这篇：ARM 用可微路由记忆替代硬淘汰 token，缓存不再丢关键信息，延迟还可控。

这篇论文揭示了SVD压缩在注意力机制中与秩崩溃的复杂关系，对模型压缩和优化有重要启示。

Relation模型通过关系组织提供更高效的注意力机制，比MHA表现更优，值得一看。

量子计算和注意力机制结合的新思路，把softmax映射到量子测量，数学上还挺严谨，搞量子ML的可以看看。

这篇论文提出了一种不用训练就能测模型不确定性的新方法，在接地问答上比现有基线更准，还能自己判断什么时候适用。

胸片多标签分类老问题，C²A用共现先验加注意力，CheXpert上0.895 AUROC，比GCG强，开销还小，值得搞医学影像的看看。

孟加拉手语识别新研究：轻量模型参数少到能装进手机，准确率还够用，数据和代码都开源了。

论文提出了 Surv-IPTB，用注意力机制做个体治疗获益估计，比传统 T-learner、S-learner 在复杂非线性数据上更稳，代码已开源。

这篇arXiv研究测了13个模型：把关键词大写能集中LLM注意力，但准确率不一定提高，交替大小写还会拖累成绩。

这篇论文提出了AGAO，像给智能体图装了注意力聚焦，减少无用计算，提升任务效果，值得搞多智能体系统的人看看。

这篇论文用Ising模型改造注意力，在逆合成预测上吊打标准方法，做科学AI的必看。

一篇论文证明了随机化KV-Cache驱逐能提供误差证书，覆盖率达97%。如果你关心推理加速中的精度损失量化，这方法很实用。

这篇论文把稀疏和低秩两种思路拧在一起，解决Transformer的长序列瓶颈。不用算完整的注意力矩阵，就能同时抓住局部和全局信息。

这篇论文提出了一个聪明的点子：让注意力机制像人一样，在关键地方用更多计算资源，其他地方粗略处理。复杂度降低但精度不降，做推理优化的同学可以关注。

这篇论文给Transformer的提示调优、微调等技术找到了数学理论，解释了为什么注意力机制能压缩信息。

这篇论文用Python程序解释了注意力头怎么工作，还能直接用程序替换掉原始头，精度很高，想看模型内部机制的可以读。