Heads

"Heads' 是指在人工智能领域内用于表示模型中承担特定功能处理组件的概念，在深度学习架构中处于数据处理的核心环节，负责信息的筛选与整合工作。## Heads 近期进展Circuit Condensation：行为因果电路压缩方法发布于2026年8月，参数量达150亿，该研究提出的行为因果电路压缩方法通过优化Heads组合模式实现了模型精简，为大型AI模型轻量化应用提供新思路。越狱攻击下鲁棒有害特征：注意力头专业化的机制证据显示，在越狱攻击场景下，注意力头的专业化机制存在30%的异常率，研究表明鲁棒有害特征与Heads功能分化密切相关，为安全防护提供依据。Gaze Heads：视觉语言模型如何注视它们描述的对象发布于2026年6月，参数量为约500M，该研究探索了视觉语言模型中Gaze Heads对对象注视行为的描述能力，揭示了Heads在任务下的注意力分配规律。## 当前焦点与观察点目前，Heads相关研究聚焦于模型效率与安全两大方向，一方面通过优化组合{"overview":