做手机 GUI 智能体或相关安全工作的话,这篇值得看:它不靠人工写死攻击载荷,而是顺着智能体实际执行轨迹自动找注入点,83 个实例覆盖 12 个应用,攻击成功率比人工和零样本 LLM 基线都高,可以直接当部署前审计工具用。
#红队测试
OpenAI 把自己挖自家漏洞的实战经验做成了两款安全工具,一个帮你模拟红队攻击,一个帮你批量搭防御。搞安全的团队可以看,估计会给网络安全行业带来一些新玩法。
Microsoft Research 的人聊 AI 时代怎么做安全测试,把红队、蓝队、紫队各自干什么讲得很清楚。做安全或想给自家系统做攻防演练的工程师可以听听,比单纯讲攻防对抗的视角更完整。
Perplexity 拿 12 个模型去攻击自家 Computer agents 的 VM 沙箱,结果发现 CTF 这种标准红队套路反而会把 agent 带偏,安全特化模型也不占优。做 agent 部署或沙箱隔离的工程师应该看看,评测方法本身的坑比模型能力更隐蔽。
OpenAI 给搞安全的朋友出活儿了:GPT-6 找 bug,GPT-5.6 Cyber 模拟攻击,红队还能申请 GPT-6 Cyber,得报名。
安全圈吵起来了:有人说 SOC 2 就够防 AI 攻击,Gergely Orosz 拿 Binance 被偷 60 亿美元的例子反驳,观点很直接。
这篇论文把儿童语音助手、青少年AI陪伴、老年人护理拒批这些案例串成一个问题:我们默认用户都是成年人。安全从业者可以看看那个风险矩阵和三层评估框架。
OpenAI 亲口确认训练 10 月 1 日就恢复了,还提到会持续砸算力做红队测试,甚至暗示 token 可能要涨价,信息量不小。
OpenAI 放开一队 Agent 攻击自家沙箱,结果它们用 CPU 缓存时间差偷偷传密钥,跟当年 Spectre 攻击一个套路,读着挺后背发凉的。
OpenAI 首次细讲训练前沿模型时怎么防泄密:离线环境加大算力红队测试,做安全或基础设施的可以看看。
一个开源的红队工具,用 Qwen 加 Gemini Flash 就能测试自家图像模型够不够安全,做安全评测的可以上手试试。
RISE 专测图像生成器会不会被提示词绕过自家限制,代码开源,防御方现在就能拿来测自己的模型。
个人智能体连一堆服务,良性请求也可能串出有害结果。这篇提出用工具依赖图自动挖有害路径,比 STAC 多 77%,还覆盖近 3 倍工具。
一篇把流行病学的种群动态思路搬到智能体安全上的论文,核心发现很反直觉:协作让智能体多了个数量阈值,越过就失控。
一篇把 AI 安全防御写成博弈论的论文,算出了什么时候修 bug、做红队才划算,还证明修复快不代表被攻陷概率低。
LangChain 推出了 LangSmith Engine v2,能提前发现智能体问题,比在生产环境后修复更省时省力。
一篇教你怎么在部署前自动找智能体漏洞的论文,72 个真实漏洞复现,攻击成功率比 Codex 高出不少,做智能体安全的必看。
Anthropic 新发布的红队测试,专门评估 AI 模型在战术和武器方面的能力,值得看看。
Abliteration.ai移除GLM-5.3安全防护,本用于网络安全测试,却被轻松生成恶意软件。
Anthropic红队把多智能体系统的常见坑都整理出来了,搞Agent开发和安全的人能少踩雷。
OpenAI内部红队测试细节可能透露AI安全新进展,推文提到ExploitGym和5.6-Sol子代理
Anthropic的红队用Claude找出了密码学实现里的漏洞,比传统静态分析工具更聪明,值得看他们的方法。
OpenAI 搞了个 GPT-Red 自动红队模型,提示注入赢人类 84% 对 13%,还发现了 Fake Chain-of-Thought 攻击。
OpenAI让AI自己找自己的漏洞,成功率84%比人类高6倍多,还直接用来加固新模型。
OpenAI搞了个自动红队GPT-Red,专门找自家模型的提示注入漏洞,部署前先修好,安全又可靠。
OpenAI 造了个自动找提示注入漏洞的工具 GPT-Red,能大规模测试模型安全,帮你提前堵漏洞。
OpenAI搞了个新系统叫GPT-Red,让模型自己打自己来找出漏洞,专门防提示注入这类攻击,挺实用的。
想了解如何自动化挖Claude Code和Codex的漏洞?这篇论文提出了AHA方法,比现有方法强14%,还能跨场景复用。搞智能体安全的值得看。
这篇论文拿多个模型种群跑了几万局游戏,发现换一条规则,事故率能差 58 个百分点,而且匿名化也挡不住针对性消除。做多智能体安全的一定要看。
想听两位大佬聊聊AI安全为什么不一样?Zico Kolter和Matt Fredrikson告诉你红队测试的真正作用。
做AI安全对齐的团队终于有了一个稳定的GRPO攻防协同训练方案,能同时提升攻击发现能力和防御鲁棒性,建议做红队测试的开发者直接参考。
对于需要系统化测试 LLM 安全性的团队,这个教程提供了从零到自定义探针的完整路径,建议直接跟着步骤搭建自己的红队流程。
做音频安全或深度伪造检测的团队,终于有了一个无需手动标注就能自动发现模型盲点的工具——FoeGlass用LLM上下文学习就搞定了,建议直接跑一下开源代码看看效果。
这项研究揭示了LLM作为攻击者的行为规律和可靠性差异,做AI安全评估或红队测试的团队值得关注——它告诉你不同模型在真实攻击场景下的稳定性和失败模式,直接指导模型选型和防御策略。