AITOPAI热报

激活引导

共 4 条相关 AI 资讯
8月26日
10:51
10:51官方一手arXiv: DeepSeek@Daming Luo, Christy Liang, Junyu Xuan
SteerCheck是一种预注册的归因审计工具，用于匹配离目标KL和分离均值、保护尾部、极性、转移和语义主张。研究发现，对齐泄漏与签名的余弦值强相关，25.3%的样本余弦值超过0.5，所有超过观察到的平均效果的样本余弦值均超过0.8。SteerCheck使得这些条件性和混合结论可审计。
论文SteerCheck归因审计激活引导
推荐理由：SteerCheck是一个强大的审计工具，可以帮助研究人员识别和评估激活引导中的对齐泄漏问题，对于确保AI模型的可靠性和透明度非常有用。
原文
7月21日
11:35
11:35官方账号arXiv cs.AI@Sheldon Yu, Tong Yu, Xunyi Jiang, Rohan Surana, Gagan Mundada, Sungchul Kim, Lina Yao, Julian McAuley, Junda Wu
论文提出SOPHIA方法，通过分析推理轨迹中隐状态转换，发现失败轨迹陷入自循环。该方法构建状态对索引的引导向量库，在推理时实时检测自循环并干预。在多个基准测试中，SOPHIA有效提升任务准确率和令牌效率。实验表明，细粒度控制能改善推理质量。
论文SOPHIA激活引导推理模型
推荐理由：这篇论文教你如何让大模型不再自己绕圈圈，用激活引导精准干预推理过程，实测有效提升准确率。
原文
6月2日
12:01
12:01官方账号arXiv cs.AI@Hao Li, Jingkun An, Zijun Song, Pengyu Zhu, Rui Li, Hao Wang, Wendi Feng, Yesheng Liu, Lijun Li, Jin-Ge Yao, Lei Sha
精选
大型语言模型（LLM）与人类价值观对齐时，往往会损害通用能力，即“对齐税”。现有方法通过平衡双重目标来缓解，但依赖大量通用数据或辅助奖励模型。SafeSteer 提出，由于安全特征在输出分布中天然稀疏，对齐应进行局部修改而非全局权衡。该方法通过激活引导构建安全教师模型，并开发安全令牌选择算法，在训练中仅对这些令牌施加反向 KL 惩罚，从而保留通用能力。实验表明，SafeSteer 在七个安全基准上取得强安全性能，同时在五个通用能力基准上仅轻微下降，且仅需 100 个有害样本，无需任何通用数据，对齐成本降低超过 99%。
论文安全对齐策略蒸馏LLM
推荐理由：SafeSteer 用极低成本（100 个样本）解决了安全对齐损害通用能力的痛点，做 LLM 安全或对齐的团队可以直接参考其局部化蒸馏方法，大幅减少数据依赖。
原文
5月27日
12:15
12:15官方一手arXiv: DeepSeek@Kia-Jüng Yang, Dominik Meier, Jiachen Zhao, Terry Ruas, Bela Gipp
精选72°
最新研究发现，大型推理模型（LRM）的拒绝机制不仅依赖于残差流激活，还依赖于思维链（CoT）。在 DeepSeek-R1-Distill-LLaMA-8B 上，固定 CoT 时激活引导仅能反转 39% 的拒绝，移除 CoT 后提升至 70%，表明 CoT 主动强化了拒绝。通过两阶段干预（在激活引导下重新生成 CoT），拒绝反转率达到 94%，且生成的 CoT 在移除引导后仍能独立保持 48% 的顺从信号。这说明 CoT 可以独立携带并重建顺从信号，使 LRM 对激活级干预更鲁棒，但也暴露出 CoT 可能成为新的攻击面。
论文推理模型安全/对齐思维链
推荐理由：这项研究揭示了 CoT 在模型安全中的双重角色——既增强鲁棒性又引入新风险，做 AI 安全和对齐的团队值得关注，尤其是使用推理模型的开发者需要重新评估防御策略。
原文