defending

general · 首次出现 2026-06-06 · 最近出现 2026-11-17 · 累计提及 18

综述

Defending(防御)在 AI 领域通常指针对模型安全风险的防护研究与实践,涵盖后门攻击防御、数据投毒防御、智能体系统安全加固等方向。随着大模型被广泛部署到代码审计、社交平台治理等真实场景,围绕如何构建有效防御体系的研究和讨论正在快速升温,同时也伴随着攻击手段同步演化的持续博弈。

Defending 相关的近期进展

  • 在评测层面,OpenAI 发布了 SecPRBench:用真实漏洞提交评测智能体代码审计能力,通过真实漏洞提交数据衡量智能体的安全审计水平,为评估防御能力提供了更贴近实战的基准。
  • 针对训练数据安全,Defending Against Harmful Supervision Hidden in Benign Samples 研究了如何识别并抵御隐藏在看似正常样本中的有害监督信号,属于数据投毒防御方向的最新工作。
  • 联邦学习场景下,Defending Against Backdoor Attacks via Alignment Checking in Model-Contrastive Federated Learning 提出通过对齐检查机制来防御后门攻击,延续了分布式训练安全研究的活跃态势。
  • 在对抗性研究方面,Anthropic 的 Breaking and Defending LLM-Powered Social Media Bot Detection Systems 同时展示了如何攻破和加固基于大模型的社交机器人检测系统,体现了攻防一体的研究思路。
  • 当前焦点与观察点

    当前 defending 研究的焦点正从单一模型的鲁棒性转向系统级安全。一方面,智能体(Agent)逐渐获得代码执行、信息检索等权限,其审计与防御能力需要可量化的基准,SecPRBench 这类工作正是回应这一需求。另一方面,数据层面的隐性威胁——如伪装成良性样本的有害监督、联邦学习中的后门注入——仍是防御研究的难点,因为攻击者往往比防御者更早适应新架构。

    此外,安全事件推动了行业协作。OpenAI 与 Hugging Face 的数据泄露事件发生 5 周后仍被业界持续讨论,Nvidia 参与的开放 AI 行业组织在成立一周内即推进了相关工作,显示供应链安全与行业联防正成为 defending 议题的重要组成部分。值得观察的问题包括:防御评测基准能否跟上攻击演化速度、行业共享威胁情报的机制是否可持续,以及安全研究中的攻防信息披露如何把握边界。

    相关报道

    9 条在档