主要来源arXiv cs.LG
查看原文事件专题 ·多源确认
研究复现:RL 训练使 LLM 红队攻击多样性收窄
一项复现实验验证了强化学习在提升自动化红队攻击成功率的同时会收窄攻击多样性的现象。实验使用 Qwen2.5-14B 作为攻击方、Phi-4-mini 作为防御方,通过 DPO 训练,在 26 个 AdvBench 行为上评估,三轮独立运行的 Attack Diversity Retention(ADR)分别为 0.63、0.61 和 0.63,均低于 0.75 的多样性收窄判定阈值。 技术细节上,攻击方采用仅成功奖励、长度无偏损失、有界更新、warm-up 与 ratio clipping 等手段,共执行 24 次攻击方和 12 次防御方基于 LORA 的更新,训练在 12 轮后依据开发集 checkpoint 决策停止。第 4 轮和第 8 轮的中间检查未达标,第 12 轮三轮全部达标。 值得注意的是,尽管攻击向量收窄了约 25% 以上,攻击成功率仍随每轮更新持续提升,说明多样性与有效性在对抗训练中并非同步变化。
当前结论
对做 LLM 安全的人来说这篇挺有用:它用 Qwen2.5-14B 攻 Phi-4-mini 的实战设置复现了一个此前只有 GRPO 报告过的现象,还给出了 ADR 这个可量化的指标。如果你在搭自动化红队流程,这里提供了具体训练配置,可以直接借鉴。
3 个信源31° AI 热度最后更新 2026/11/15 00:15:57
证据链
3 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。