backdoor attacks

concept · 首次出现 2026-07-30 · 最近出现 2026-11-05 · 累计提及 4

综述

Backdoor attacks(后门攻击)是一类针对机器学习模型的隐蔽攻击方式:攻击者在训练数据或训练过程中植入触发器,使模型在正常输入下表现正常,而一旦输入包含特定触发模式就会输出攻击者指定的结果。随着深度学习和基础模型被广泛部署,后门攻击已成为模型供应链安全中的核心威胁之一,防御研究也持续跟进。

Backdoor Attacks 近期进展

  • A Bag of Tricks for Defending Deep Learning-based Face Recognition Pipelines against Backdoor Attacks:针对人脸识别流水线的后门防御研究,提出一组可组合的防御技巧,说明实际部署系统需要在数据清洗、模型训练和推理阶段同时设防。
  • TrojanWorld: Backdooring World-Model Agents via Imagination Steering:Google DeepMind 的研究将后门攻击扩展到世界模型智能体,通过操控智能体"想象"过程实现植入,表明攻击面正从分类模型向具备规划与决策能力的智能体迁移。
  • Defending Against Backdoor Attacks via Alignment Checking in Model-Contrastive Federated Learning:聚焦联邦学习场景,提出通过对齐检查来识别恶意客户端上传的模型更新,反映了分布式训练环境下后门防御的特殊难度。
  • AI Models Can Provably Hide Arbitrary Capabilities:从理论角度证明模型可以可证明地隐藏任意能力,为后门和隐藏行为的检测提供了理论下界,提示现有防御手段存在根本局限。
  • 当前焦点与观察点

    近期研究呈现两个方向:一是攻击面的扩张,从传统图像分类延伸到人脸识别流水线、联邦学习和世界模型智能体;二是防御手段的工程化,从单一检测算法转向多环节组合防御。争议点在于检测的可靠性——理论上模型可以隐藏任意能力,意味着没有任何防御能给出绝对保证。

    值得观察的问题包括:随着智能体系统落地,针对世界模型和规划过程的后门攻击是否会成为新的主流威胁;联邦学习等多方协作训练场景如何在隐私与可验证性之间权衡;以及模型供应链(预训练、微调、第三方权重)的审计机制能否跟上攻击技术的演进。

    相关报道

    4 条在档