data poisoning

concept · 首次出现 2026-05-22 · 最近出现 2026-11-05 · 累计提及 4

综述

data poisoning(数据投毒)是指攻击者通过在训练数据中植入恶意样本,使机器学习模型在训练阶段学到错误行为的一类攻击手段。它与后门攻击、提示注入等共同构成 AI 安全中最受关注的供应链威胁之一,攻击面涵盖从数据采集、标注到联邦学习和模型微调的整个流程。

数据投毒的近期研究进展

  • A Bag of Tricks for Defending Deep Learning-based Face Recognition Pipelines against Backdoor Attacks:针对人脸识别流水线中的后门攻击,该工作提出了一套防御技巧组合,说明数据投毒类威胁在生物识别等高风险场景中仍是防御研究的重点。
  • Federated Art Chase: Privacy Leakage and Data Poisoning in Federated Fine-Tuning:该研究指出联邦微调场景中隐私泄露与数据投毒可以相互交织,恶意参与者既能窃取他人数据,也能污染全局模型,凸显联邦学习并非天然安全。
  • Verbalizing Subliminal Learning Effects Using Text Optimization:这项工作探讨了大模型训练中隐性行为传递的可文本化表达,为理解和检测不易察觉的投毒影响提供了新视角。
  • STRIDE-AI: A Threat Modeling Framework for Generative AI Security Assessment:该框架将经典威胁建模方法扩展到生成式 AI,把数据投毒纳入系统化的安全评估流程,反映行业正从单点防御转向体系化威胁分析。
  • 当前焦点与观察点

    现阶段关于 data poisoning 的讨论集中在三个方向:一是攻击的隐蔽性,后门与隐性学习效应使被污染模型在常规评估中难以暴露;二是防御的现实成本,数据清洗、异常检测等手段在超大规模训练集上代价高昂;三是新场景带来的攻击面,联邦学习微调和检索增强生成(RAG)让外部数据更容易进入训练或推理流程。

    值得关注的观察点包括:面向大模型的数据溯源与合规要求是否会推动数据审计成为标配;威胁建模框架能否在实际部署中落地;以及联邦场景下参与方信任机制的设计能否同时缓解隐私泄露与投毒风险。总体来看,数据投毒已从学术问题逐步进入工程安全与监管议程,但其检测与归因仍是开放难题。

    相关报道

    4 条在档