#注意力机制

长上下文训练一直是显存大户，Untied Ulysses 让单节点就能跑 3M token，做 LLM 训练和推理优化的团队值得关注，能省下不少 GPU 预算。

官方账号Together AI@togethercompute原文

做机器人安全控制的团队终于有了一个轻量级方案——VLA模型自带的注意力头就能当安全过滤器用，无需额外训练或重模型，动态场景效果还更好，值得点开看实现细节。

做单细胞转录组分析的团队终于有了一个能同时提升性能和可解释性的Transformer方案——scTransformer把基因调控先验直接嵌入注意力机制，比黑盒模型更可信，建议做生物信息学基础模型的研究者点开看看。

Oryx 解决了长上下文检索与高效生成的矛盾，做序列建模或大模型架构的开发者可以直接参考其共享参数设计思路，值得关注。

这篇论文用范畴论统一了注意力、扩散和自条件化，做 Transformer 架构研究的开发者会看到新的理论视角；predict-detach 机制带来的收益比改邻域更大，值得关注。

做医学影像分析的团队终于有了一个简单有效的正则化技巧——Normal Guidance能显著提升弱监督下的切片定位精度，比现有MIL方法更准，建议做3D医学图像分类的开发者试试。

这篇论文为需要可靠不确定性估计的连续时间序列建模场景提供了新思路，做概率机器学习或自动驾驶感知的团队可以关注其神经元级可解释性带来的调试优势。

做3D重建或视觉Transformer的开发者，这篇论文用两阶段令牌选择解决了计算瓶颈，85%的加速效果值得直接参考实现。

这篇论文揭示了自预训练提升Transformer序列分类的核心机制——学习邻近交互注意力模式，做序列建模或注意力机制研究的开发者值得深入理解，尤其对改进长序列分类有启发。

做 AI 音乐生成或音频研究的团队可以关注——这个机制直接解决了 Transformer 生成音乐时“重复啰嗦”的痛点，用元信息让旋律更自然，值得在自家模型上试试。

做LVLM幻觉研究的开发者可以直接用这个无需训练的方法来提升模型可靠性，代码已开源，值得一试。

长视频生成长期受困于静态帧汇导致的注意力坍塌问题，DySink 用检索式动态帧汇解决了这个痛点，做视频生成或自回归模型的团队可以直接参考其开源代码。

长上下文 LLM 的推理成本一直是痛点，DashAttention 用可微分稀疏注意力在保持精度的同时大幅提速，做长文本推理和模型优化的研究者值得关注。

长上下文推理的注意力瓶颈终于有了轻量级解法——无训练、可更新、内存高效，做 LLM 推理优化或长文档应用的团队值得关注。

长链推理的注意力衰减问题终于有了针对性解法，做推理模型优化或长上下文应用的团队值得关注——InsightReplay简单有效，可以直接在现有CoT框架上尝试。

做长序列建模或量子机器学习的研究者值得关注——QLAM 用量子叠加解决了 SSM 记忆能力不足的问题，在标准基准上已跑赢 Transformer，建议点开看实现细节。