AITOPAI热报
今日精选全部动态早读东盟 AIAgent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOPAI热报

鲁棒有害特征

共 1 条相关 AI 资讯
6月29日
10:08
10:08官方账号arXiv cs.AI@Yanchen Yin, Dongqi Han, Linghui Li
该研究揭示越狱攻击并非消除所有安全特征,而是选择性抑制早期层的Adversarially Compromised Heads (ACHs),而中间层的Safety-Aligned Heads (SAHs)保持鲁棒激活。消融实验表明,抑制少量ACHs即可在正常拒绝的输入上诱发出越狱行为,而移除SAHs会显著削弱中间层的安全激活。此外,通过直接读取这些持久激活信号(无需训练)即可获得与强对抗鲁棒性相当的聚合检测性能。
论文越狱攻击注意力头LLM安全

推荐理由:这篇论文用注意力头机制解释了越狱攻击无法完全消除安全特征,还提出一种无需训练的检测方法,效果不输传统对抗训练。
原文
精选动态早读东盟登录