主要来源arXiv cs.LG
查看原文事件专题 ·单一信源
语言模型可自主控制注意力机制
研究团队提出声明式注意力(DA)协议,让模型在思维链中声明需要关注的内容区域。该协议将生成分为全局、聚焦和局部三种模式,在15个长上下文任务中,Gemma-4-31B和Qwen-3.6-27B模型解码时关注token分别减少52.0%和31.1%,准确率仅下降1.27pp和2.75pp。
当前结论
新DA协议让模型自己决定关注哪部分内容,大幅减少计算量,Gemma和Qwen模型效果显著。
2 个信源78° AI 热度最后更新 2026/9/2 15:43:38
证据链
2 个信源相关来源 1elvis
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。