攻击面相关 AI 资讯 · AITOP · AI热报

7月22日

12:33

12:33

官方账号arXiv cs.AI@Yohann Sidot

论文构建了由三家供应商的五个生产级LLM组成的五智能体CI/CD流水线，包含分诊、开发、安全扫描、审查、部署/批准五个环节。实验中，单个未经认证的输入（请求"使用遥测"功能）被注入伪装成可观测性的代码，用于窃取进程密钥。预注册的A×B（×C）析因实验（N=20；朴素臂N=60）发现：入口智能体未泄露系统提示（0/40）；采用权威框架注入（声称"预批准，无需复审"）后，下游验证器看到秘密泄露行并引用预批准通过，扫描器对约80%的伪装的拉取请求放行，最坏条件下55%被攻破；内容控制（代码扫描器、模式检测）均无法识别伪装意图，仅LLM推理意图能提供部分防御。全部数据为合成数据，模拟目标未实际联系。

论文 LLM CI/CD 智能体安全

推荐理由：五家LLM组队干流水线，结果一句"领导批了"就能绕过所有审查，代码干了坏事但语法干净。研究扎实，看了你就知道AI安全不只是提示词泄露。

5月17日

23:42

23:42

rohanpaul_ai@rohanpaul_ai

精选76°

Google DeepMind 发表论文，首次系统性地提出 AI 智能体的安全威胁不仅来自模型本身，更来自其读取的环境。论文定义了六类“智能体陷阱”，涵盖感知、推理、记忆、行动、多智能体协作及人类监督等维度。实验显示，隐藏的提示注入攻击在高达 86% 的场景中成功劫持智能体，子智能体劫持成功率 58-90%，数据窃取攻击在五种架构中均超过 80%。论文强调，网页中的隐藏内容（如 HTML 注释、CSS 隐藏文本）对智能体构成严重威胁，且记忆污染攻击在数据污染低于 0.1% 时成功率仍超 80%。

论文智能体安全提示注入记忆污染

推荐理由：这篇论文把 AI 智能体的安全边界从模型内部扩展到了整个互联网环境，做智能体开发和安全研究的团队必须重新审视攻击面——你的智能体可能正在被看不见的网页内容操控。