adversarial perturbations

concept · 首次出现 2026-07-13 · 最近出现 2026-10-30 · 累计提及 4

综述

对抗扰动(adversarial perturbations)指在模型输入上施加人眼几乎不可察觉、却能让模型输出错误结果的微小修改,是评估深度学习安全性的核心概念。它广泛存在于图像分类、强化学习和视觉语言模型中,近两年研究重心正从单纯的攻击构造转向鲁棒性认证与防御机制。

对抗扰动的近期研究进展

  • 强化学习中的鲁棒训练:《Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization》(https://arxiv.org/abs/2609.27667v1) 提出在对抗训练中引入风险敏感性与评论家一致性正则化,试图缓解传统对抗强化学习训练不稳定、策略过度保守的问题。
  • 安全下界认证:《Certifying Lower Bounds for Risk-Sensitive Reinforcement Learning under Adversarial State Perturbations》(https://arxiv.org/abs/2609.10866v1) 来自 OpenAI 的团队,研究在状态被对抗扰动篡改时,如何为风险敏感强化学习策略给出可证明的性能下界,把防御从经验性推向可认证。
  • 知识图谱问答的查询侧攻击:《Query-Side Attacks on GNN-Based KGQA: Tracing Failures from Entity Linking to Answer Generation》(https://arxiv.org/abs/2608.25922v1) 显示对抗扰动不限于像素层面,在 GNN 驱动的知识图谱问答中,查询侧的小幅修改可沿实体链接到答案生成的整条链路引发失败。
  • 测试时提示自适应防御:《Robustifying Vision-Language Models via Test-Time Prompt Adaptation》(https://arxiv.org/abs/2607.09450v1) 尝试不重训模型,仅在推理阶段自适应调整提示,以提升视觉语言模型对输入扰动的抵抗力。
  • 当前焦点与观察点

    对抗扰动领域目前的争议点在于防御的可信度:经验性防御容易被新攻击绕过,而认证方法虽能给出保证,却常以牺牲模型精度或只覆盖极小扰动半径为代价。强化学习方向的这两项工作代表了趋势——把风险敏感目标与形式化认证结合,使鲁棒性可量化、可验证。

    另一个值得观察的方向是攻击面的扩展。从视觉分类到 KGQA,再到视觉语言模型的提示输入,对抗扰动的载体已从连续像素延伸到离散文本与图结构,这对防御提出更高要求。测试时自适应方法的兴起说明,社区正寻求不依赖昂贵重训、且对未知扰动泛化的轻量防御路径。未来一段时间,认证鲁棒性与多模态攻击面仍将是对抗扰动研究的主要观察点。

    相关报道

    5 条在档