Microsoft Research 发现:休眠神经元可被重编程为 AI Agent 后门
Microsoft Research 指出 Agent 里少量休眠神经元就能埋后门,触发前一切正常,很难察觉。防御反而老套:管好模型来源和权限。自己在企业里部署 Hugging Face 开源模型的团队,这篇值得当供应链安全检查清单用。
Microsoft Research 发表新研究,展示只需重编程 AI Agent 中少量休眠神经元,即可植入后门,使 Agent 表现正常直到触发特定条件才被激活。研究者在 X 上发布的介绍显示,这一威胁机制针对 Agent 架构本身。
与新颖的攻击手段相对,研究给出的防御思路并不新鲜:确认模型来源,并谨慎设置其权限。Microsoft researcher Dimitris Papail 在文中解释了模型平台和供应商应采取的措施,以及企业和用户的缓解策略。
Microsoft 表示,Microsoft Foundry 为 Azure Direct Models 和 Hugging Face 模型提供安全系统,用于保障模型来源(provenance)可信。对在企业环境部署开源或第三方模型的团队而言,供应链溯源和权限控制是当前可落地的两个防御方向。
New research from Microsoft Research demonstrates that reprogramming just a few dormant neurons in an AI agent can create a backdoor that leaves the agent behaving normally until it hits a specific trigger. While the specifics of this threat are novel, the mitigation is not: Know where your model came from, and be smart about its permissions. Microsoft Foundry provides critical safety systems for Azure Direct Models and Hugging Face models to ensure that the provenance of the model is secure. Microsoft researcher @DimitrisPapail explains the measures that model hubs and vendors should take as well as mitigation strategies for enterprises and users. msft.it/6014ahp6e📊 2 ⚡
本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Microsoft Research、AI安全、智能体、Microsoft Foundry,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Microsoft Research」(@MSFTResearch),经 AITOP 多维评分管线结构化提炼。