AI security(人工智能安全)指的是保护人工智能系统及其运行环境免受滥用、攻击和失控风险的技术与治理体系,涵盖提示注入防御、AI 智能体安全、模型滥用监测等方向。随着 AI 智能体逐步接入真实业务与工具调用,AI security 正从学术议题转变为企业的实际采购需求,并催生了专门的安全创业公司与第三方认证标准。
AI security 近期进展
当前焦点与观察点
AI security 目前的争议集中在三个层面。其一是技术路线:提示注入等攻击至今没有公认的根治方案,防御者与攻击者之间的博弈仍处于非对称状态。其二是治理标准:第三方认证开始落地,例如 Lovable 已通过 AIUC-1 认证,同时 Cognition 与 NVIDIA 等推动开放安全 AI 联盟以支持开源模型的安全建设,说明"安全即合规门槛"正在成为行业常态。
其三是边界之争:Gary Marcus 等批评者持续质疑当前的安全控制措施仍然"未受控",而产业界则更倾向以工程化手段渐进改善。对观察者而言,值得跟踪的信号包括:企业级 AI 安全支出的增长、智能体身份管理的标准化进度,以及安全事件上报制度能否在智能体大规模部署前建立起来。