对抗训练

general · 首次出现 2026-05-22 · 最近出现 2026-11-16 · 累计提及 19

综述

对抗训练是一种通过在训练过程中向模型输入注入扰动或攻击样本来提升模型鲁棒性的技术,目前被视为深度学习安全防御的核心手段之一。它的基本思路是让模型在“被攻击”的状态下学习,从而在真实部署时能抵御对抗样本、投毒攻击和 prompt 注入等威胁。随着大模型安全性日益受到关注,对抗训练的研究重心正从图像分类转向语言模型和智能体场景。

对抗训练的近期研究进展

  • SAFT:只更新5%参数的稀疏对抗微调方法:5% 的参数更新量是该方法的亮点,说明研究者开始关注对抗微调在大模型上的计算成本问题,用稀疏化降低开销。
  • Adversarial Self-Distillation:一种对抗攻击下的模型安全防御方法:将自蒸馏与对抗训练结合,让模型通过自我压缩传递鲁棒特征,是防御方法上的新组合尝试。
  • ExGrad:对抗训练中显式减去干净梯度以提升鲁棒性:从优化视角切入,通过分离干净梯度与对抗梯度的贡献来改善训练效果,反映了对训练动态更细粒度的理解。
  • 用最优传输几何改进对抗训练:arXiv 新研究提出两种提升鲁棒性的方法:借助最优传输的几何结构设计新的扰动生成方式,属于理论驱动的方法改进。
  • AdvSim2Real:在Web世界模型中同时训练任务、注入攻击与智能体:该工作将对抗训练扩展到 Web 智能体场景,在模拟环境中同时优化任务能力与抗注入攻击能力。
  • 当前焦点与观察点

    工业界的动态值得注意:OpenAI 发布 GPT-5.6 Sol,对抗 prompt 注入失败率降低 6 倍,6 倍的失败率下降表明头部厂商已将对抗性防御能力作为模型迭代的核心指标之一,prompt 注入防护正从研究课题变成产品需求。

    此外,应用场景的多样性在增加。研究评估在线 AutoML 管线中 IoT 网络投毒攻击对抗训练防御效果显示防御研究正覆盖 IoT 与自动化机器学习管线;REPLICANT:规避与强化恶意软件检测器的新框架则体现了攻防两端的持续博弈;CGRm:面向长尾对抗训练的新重平衡方法关注鲁棒性在类别不均衡下的退化问题。

    综合来看,对抗训练当前的争议点主要集中在两个方向:一是鲁棒性与准确率之间的权衡仍未根本解决,稀疏化、梯度优化等新方法都在试图缓解这一矛盾;二是面对大模型时代的 prompt 注入与智能体攻击,传统基于图像扰动的方法论能否有效迁移,仍是开放问题。后续可关注工业级模型报告中防御指标的定义方式是否趋于统一,以及开销与鲁棒性的平衡能否进一步改善。

    相关报道

    10 条在档