安全相关 AI 资讯 · AITOP

5月30日

01:01

01:01官方一手OpenAI Blog（博客/媒体）

OpenAI 发布了一份关于第三方AI评估的指南，旨在帮助评估者系统性地评估前沿模型的能力、安全防护和有效性。该指南强调了评估的透明性、可重复性和独立性，为第三方评估提供了标准化框架。这对于确保AI系统在部署前得到充分测试、减少潜在风险具有重要意义。指南涵盖了评估设计、执行和报告的关键步骤，是推动AI治理和信任建设的重要一步。

行业 AI评估安全治理

事件专题

推荐理由：做AI安全评估、模型审计或合规工作的团队可以直接参考这份标准化框架，省去自己摸索评估流程的时间。

原文

00:38

官方账号LangChain@LangChainAI

LangSmith 推出了 LLM Gateway 功能，允许用户在请求到达模型之前强制执行支出限制并自动脱敏个人身份信息（PII）。这一功能在请求处理的前端进行控制，而非事后补救，能有效防止预算超支和数据泄露。对于使用大型语言模型的团队来说，这提供了更安全、更可控的调用方式。该功能目前已在 LangSmith 平台上可用。

AI产品 LangSmith LLM Gateway 预算控制

事件专题

推荐理由：做 LLM 应用开发的团队终于有了预算和隐私的防线——在请求到达模型前就拦截超支和敏感数据泄露，比事后审计靠谱得多，建议直接集成到生产流程。

原文

5月28日

11:13

官方账号阿里云 Alibaba Cloud@alibaba_cloud

阿里云发布AI Agent安全解决方案，指出当前有超过4万个AI Agent实例暴露在风险中，供应链安全问题日益严峻。传统安全措施已不足以应对Agent时代的威胁。该方案提出了7项最佳实践，旨在保护数字员工的安全。对于依赖AI Agent的企业和开发者来说，这是必须关注的安全升级。

AI产品 AI Agent 安全阿里云

推荐理由：AI Agent的安全漏洞正在成为企业的新软肋，4万+实例暴露的数据触目惊心。做Agent部署的团队建议直接参考这7项实践，能帮你避开供应链攻击的坑。

原文

03:08

官方一手@OpenAIDevs@OpenAIDevs

OpenAI 宣布扩展 Admin API，新增功能包括支出警报、模型白名单、数据保留控制、托管工具控制，以及文件搜索和网页搜索等功能的更细粒度成本可见性。这些更新使企业能够以编程方式管理 OpenAI 项目，提升安全性和成本控制能力。对于使用 OpenAI 的企业团队，这意味着可以更精细地管理 API 使用权限和预算，减少人工干预。

AI产品 OpenAI Admin API 企业管理

事件专题

推荐理由：企业团队终于可以编程管理 OpenAI 项目了——支出警报和模型白名单直接解决权限和成本失控的痛点，做企业级 AI 集成的开发者建议立即查看。

原文

5月27日

11:28

11:28官方账号Simon Willison’s Weblog（博客/媒体）

curl 项目维护者 Daniel Stenberg 透露，由于 AI 辅助生成的安全报告激增，项目正面临前所未有的压力。2026 年安全报告提交速度是 2024 年的 4-5 倍，平均每天超过一份，且报告质量极高、细节详尽。维护团队的工作量已严重失衡，甚至影响到家庭生活。好消息是，这些报告发现的漏洞多为低危或中危，自 2023 年 10 月以来未出现高危漏洞。

行业 curl 安全 AI辅助安全

推荐理由：开源维护者被 AI 安全报告淹没的现状值得所有依赖 curl 的团队关注——这暴露了 AI 辅助安全研究的双刃剑效应，做开源维护或安全研究的人看完会有感触。

原文

5月26日

08:41

08:41IT之家（博客/媒体）

88°

Anthropic 的最强模型 Claude Mythos 预览版在 Claude Code 和 Claude Security 中短暂出现后被撤下，暗示即将公开上线。该模型定位为面向计算机安全任务的前沿模型，相比 Opus 4.7 在代码推理和自主执行方面显著提升。Anthropic 此前警告 Mythos 能自动开发专业级网络攻击手段，因此迟迟未全面开放。同时，Anthropic 推进名为 Glasswing 的项目，联合其他公司保护关键软件系统，已使用 Mythos Preview 帮助 50 家组织。这一动态表明 Anthropic 在平衡模型能力与安全风险后，可能准备向更广泛用户开放。

AI模型 Anthropic Claude Mythos 推理模型

事件专题

推荐理由：Anthropic 最强模型 Mythos 即将公开，做安全研究和代码自动化的开发者值得关注——它既能大幅提升效率，也带来新的安全挑战，建议提前了解其能力边界。

原文

5月23日

10:57

10:57IT之家（博客/媒体）

83°

Anthropic 在 Project Glasswing 项目上线一个月后，宣布其 Claude Mythos Preview 模型已与约 50 家合作伙伴合作，在关键软件中发现超过 1 万个高危和关键漏洞。该模型将部分团队的漏洞发现速度提升超过 10 倍，当前瓶颈已从发现转向验证和修补。Cloudflare 在关键系统中发现 2000 个漏洞，误报率优于人工；Mozilla 在 Firefox 150 中修复 271 个漏洞，是之前的 10 倍。外部评测中，Mythos Preview 成为首个端到端攻破两个网络攻防靶场的模型。针对开源软件，已扫描 1000 多个项目，发现 23019 个漏洞，其中 1587 个经人工复核确认为真实漏洞，真实率达 90.6%。

AI产品漏洞挖掘 Claude Mythos Preview 安全

事件专题

推荐理由：安全团队和开源维护者终于有了靠谱的 AI 漏洞挖掘工具——Claude Mythos 将发现速度提升 10 倍，但修补环节成为新瓶颈，做安全运营或维护开源项目的建议点开看看实际数据。

原文

5月22日

08:05

08:05官方账号Simon Willison’s Weblog（博客/媒体）

精选

Simon Willison 发布了 datasette-agent-sprites 0.1a0，这是一个 Datasette Agent 插件，允许用户在 Fly Sprites 沙箱中安全地运行命令。该插件利用 Fly Sprites 的隔离环境来执行代码，从而避免对主机系统造成风险。这对于需要在 Datasette 中执行用户提供的或不可信代码的场景特别有用，例如数据分析或自动化任务。通过沙箱化，插件增强了 Datasette 的安全性，同时保持了灵活性和易用性。

AI产品沙箱 Datasette Fly

推荐理由：如果你在用 Datasette 做数据分析或自动化，这个插件让你安全地执行不可信代码，建议试试 Fly Sprites 沙箱的隔离能力。

原文

01:10

官方账号NVIDIA AI@NVIDIAAI

76°

NVIDIA 发布了 NVIDIA-Verified Agent Skills，旨在解决 AI 智能体技能引入的安全漏洞问题。这些经过验证的技能提供透明信息，包括技能功能、来源、风险以及是否被修改。每个技能都附带技能卡，并基于 agentskills.io 开放规范构建，确保在 Claude Code、OpenAI Codex 和 Cursor 等平台上可靠运行。此举提升了智能体生态的安全性和互操作性。

AI产品智能体安全 NVIDIA

事件专题

推荐理由：AI 智能体开发者终于有了安全可追溯的技能来源——NVIDIA 的 Verified Skills 解决了技能引入的漏洞风险，做智能体应用或使用 Claude Code、Codex 的团队可以直接集成，减少安全审查成本。

原文

5月21日

11:15

官方账号arXiv cs.AI@Mohamed Almukhtar, Anwar Ghammam, Hua Ming

精选

一项针对 AI 代理生成的 Python 重构 Pull Request 的实证研究发现，平均 22.5% 的变更提升了代码质量属性，其中可用性提升最频繁（36.5%）。但 24.17% 的修改文件引入了新的 Pylint 问题（主要是约定违规如长行），4.7% 引入了新的 Bandit 安全发现。尽管存在这些问题，73.5% 的 PR 被合并，包括那些引入新问题但同时也移除了旧问题的案例。研究还归纳了 24 种常见变更操作及其与 lint/安全发现的关系，强调了在 AI 驱动开发中加强质量与安全门控的必要性。

论文 AI 编程代码质量安全

推荐理由：AI 写代码到底靠不靠谱？这篇论文用数据说话——重构 PR 质量有提升也有隐患，做 AI 编程工具或代码审查的团队值得看看，能帮你设计更好的质量门控。

原文

07:59

Claude@claudeai

精选

Claude AI 推出 MCP tunnels 功能，允许智能体在不暴露于公网的情况下，安全访问私有网络内的 MCP 服务器。该功能解决了企业级 AI 应用中数据安全和网络隔离的关键痛点，无需开放公网端口即可实现内部服务的调用。开发者可以直接在私有网络内部署 MCP 服务器，并通过隧道机制与智能体通信，降低安全风险。

AI产品 MCP/工具智能体安全

推荐理由：企业 AI 开发者终于有了安全访问内部服务的方案——MCP tunnels 解决了私有网络暴露的痛点，做企业级智能体集成的团队可以直接用。

原文

07:59

07:59官方账号Simon Willison’s Weblog（博客/媒体）

72°

Google I/O 上发布了 Gemini Spark，定位为个人 AI 智能体，可原生连接 Gmail、Calendar、Drive 等 Google 应用。Spark 运行在 Gemini 3.5 Flash 和 Antigravity 上，后者是一个包含桌面应用、CLI 工具、SDK 和 IDE 的生态系统。Google 强调 Spark 采用企业级安全措施，包括隔离的临时 VM 和 DLP 策略，但 prompt injection 风险仍是隐忧。同时，开源 Gemini CLI 将于 6 月 18 日停止支持，被闭源的 Antigravity CLI 取代。

AI产品 Gemini Google I/O 智能体

事件专题

推荐理由：Google 正式推出个人 AI 智能体 Gemini Spark，直接对标 OpenClaw，做自动化工作流的开发者值得关注其安全架构和 Antigravity 生态。

原文

5月20日

18:06

Geek@geekbb

精选

攻击者通过篡改VS Code扩展商店中的恶意扩展，感染了使用VS Code的GitHub开发者设备。1月14日，GitHub检测到并隔离了受感染的端点，移除了恶意扩展版本。攻击者声称获取了约3800个内部仓库，与GitHub初步调查结果一致。GitHub正在分析扩展的源代码以评估影响。

行业 GitHub VS Code 安全

推荐理由：开发者的安全警钟：从VS Code扩展到GitHub仓库

原文

17:53

官方账号阿里云 Alibaba Cloud@alibaba_cloud

阿里云将于2026年5月22日举办ClawTalks第4期线上活动，主题为AI Agent全生命周期安全。活动将揭示针对AI Agent的真实威胁案例，分享阿里云验证的7项安全最佳实践，并演示Agent Security Center如何实时发现、映射和保护AI资产。随着AI Agent部署规模扩大，安全与创新的平衡成为企业关注焦点。

行业 AI Agent 安全阿里云

推荐理由：AI Agent规模化部署的安全问题日益紧迫，阿里云这次分享的7项最佳实践和实时安全中心演示，对正在或计划部署Agent的企业团队很有参考价值，建议设置提醒参与。

原文

02:49

claudedevs@claudedevs

Claude 团队为 Managed Agents 增加了两项安全功能：自托管沙盒让代理的执行环境保留在用户自己的基础设施或托管沙盒提供商中；MCP 隧道允许代理连接到用户安全边界内的服务。这些改进增强了企业级部署的安全性，使代理在受控环境中运行，降低数据泄露风险。

AI产品 Claude 安全沙盒

推荐理由：企业用户终于可以放心让 Claude 代理在自有基础设施中运行了——自托管沙盒和 MCP 隧道解决了数据安全和内网访问的痛点，做合规部署的团队值得关注。

原文

5月19日

09:54

官方账号arXiv cs.AI@Nicanor Mayumu, Xiaoheng Deng, Patrick Mukala

精选

该研究首次系统评估了视觉-语言-动作（VLA）驾驶模型在推理忠实性方面的表现，分析了 Alpamayo-R1-10B 在 100 个场景中的 300 次推理。结果显示，模型输出的自然语言推理与轨迹存在显著不忠实：整体推理忠实度仅 42.5%，Chain-of-Causation 匹配场景现实不到一半；在三分之一的行人相关场景中遗漏了 94 个行人；轻微视觉扰动导致 97.7% 的轨迹脆弱；推理-动作一致性仅 48.3%，其中 53.3% 的推理一致性低，37.9% 声称停止但模型继续前进。研究从信息论角度形式化了忠实性，定义了实体和动作忠实性验证标准，并提出了四组件安全架构。

论文 VLA 自动驾驶推理忠实性

推荐理由：VLA 驾驶模型的推理不忠实问题直接关系到自动驾驶安全，做自动驾驶或具身智能的开发者值得关注——你的模型可能声称停车但实际在开。

原文

5月18日

12:25

12:25官方账号Simon Willison’s Weblog（博客/媒体）

英国国家医疗服务体系（NHS）因Project Glasswing漏洞报告而关闭其开源仓库，引发争议。政府数字服务（GDS）近日发布报告，建议公共部门保持开源默认，关闭应谨慎使用。GDS指出，全面私有化会增加交付和政策成本，降低复用和审查。Terence Eden解读此举为GDS对NHS的严厉警告，罕见地将内部分歧公开化。事件凸显了开源在公共部门安全与透明度之间的平衡难题。

行业开源安全 NHS

推荐理由：公共部门开源策略的博弈直接影响开发者协作和系统安全，做政府项目或关注开源治理的团队值得关注GDS的官方立场。

原文

5月16日

14:30

官方账号Greg Brockman@gdb

精选73°

OpenAI 开发者团队在 X 上分享了为 Codex 构建 Windows 沙盒的细节。核心挑战是如何让编程代理保持高效，同时避免开发者陷入频繁的审批弹窗或完全开放机器权限的两难。他们设计了一套沙盒机制，允许代码执行在受限环境中运行，既保障安全又减少用户干扰。这一方案旨在提升 Windows 上 AI 编程助手的实用性和安全性。

AI产品 Codex Windows 沙盒编程助手

事件专题

推荐理由：Windows 开发者终于有了兼顾安全与效率的 AI 编程方案，做自动化脚本或使用 Codex 的团队值得了解这个沙盒设计，能直接减少审批弹窗的烦恼。

原文

11:45

11:45IT之家（博客/媒体）

72°

行业供应链攻击 npm node-ipc

推荐理由：node-ipc 是大量 Node.js 项目的依赖，这次投毒直接威胁开发机、CI 环境和服务器，使用 npm 的团队务必立即排查并升级。

原文

5月15日

09:17

官方一手@OpenAIDevs@OpenAIDevs

OpenAI 在将 Codex 引入 Windows 时面临一个难题：如何让编程代理保持有用，同时避免开发者陷入频繁审批提示或完全机器访问的两难。他们构建了一个 Windows 沙盒环境，允许 Codex 在受限权限下执行代码，既保障系统安全，又减少用户中断。这一设计解决了 AI 编程助手在 Windows 平台上的关键安全与可用性矛盾，使开发者能更流畅地使用 Codex 进行自动化任务。

AI产品编程助手 Codex Windows

事件专题

推荐理由：Windows 开发者终于有了安全的 AI 编程代理方案——Codex 沙盒解决了权限与效率的平衡难题，做自动化脚本或 CI/CD 的团队可以直接用，建议点开看实现细节。

原文

07:18

官方账号NVIDIA AI@NVIDIAAI

OpenShell 发布 v0.0.41 版本，新增智能体驱动的策略管理功能，允许用户通过 shell 直接控制策略和资源。CLI 中增加了沙箱资源标志，支持自定义 CA 用于 OIDC TLS 验证，并改进了沙箱下载的工作区边界检查。该版本还包含多项错误修复和稳定性改进，旨在提升开发者在安全策略和资源管理方面的效率。

AI产品智能体策略管理沙箱

推荐理由：对于需要精细控制沙箱资源和策略的开发者，OpenShell 这次更新直接把管理权交到了 shell 里，省去繁琐配置，值得一试。

原文

5月14日

13:37

官方账号Geoffrey Hinton@geoffreyhinton

Geoffrey Hinton在推特上推荐了一份关于AI风险的报告，称其提供了深思熟虑、详细且研究充分的描述。他认为这份报告对于任何想要撰写或讨论AI风险的人来说都是必读材料。Hinton作为AI领域的权威人物，其推荐强调了该报告在AI安全讨论中的重要性。报告内容涵盖了AI可能带来的各种风险，包括技术、伦理和社会影响。

行业 AI风险安全 Hinton

推荐理由：Hinton亲自背书，这份报告是AI风险领域的权威参考，做AI安全研究或政策制定的从业者值得一读。

原文

13:36

官方账号Vercel AI@vercel

Vercel 公布了今年 AI Accelerator 的获奖项目，这些项目专注于为金融团队、应用安全和房地产领域构建智能体。获奖团队获得了总计 800 万美元的积分，并得到了 Vercel、AWS、OpenAI、Anthropic 等合作伙伴的亲自指导。这表明 AI 智能体正在向垂直行业落地，尤其是金融、安全和地产等数据密集型领域。对于关注 AI 应用落地的开发者和企业来说，这些案例展示了如何利用顶级平台和模型快速构建专业智能体。

AI产品智能体 Vercel 金融

事件专题

推荐理由：Vercel 联合 AWS、OpenAI 等巨头孵化的智能体项目，直接瞄准金融、安全和地产三大行业痛点，做行业 AI 应用的团队可以看看这些获奖案例是怎么落地的。

原文

07:26

官方账号Perplexity@perplexity_ai

Perplexity AI 宣布其计算机默认安全，每个任务都在独立的硬件隔离沙箱中运行，并采用 VPC 级别的存储和计算分离。代理通过短期代理令牌进行身份验证，而非原始 API 密钥。这一设计旨在提升 AI 代理执行任务时的安全性和隔离性，防止数据泄露和权限滥用。对于需要运行敏感任务的开发者或企业用户，这提供了一种更安全的执行环境。

AI产品安全沙箱 Perplexity AI

推荐理由：Perplexity 的硬件隔离沙箱解决了 AI 代理执行任务时的安全痛点，做自动化或敏感数据处理的团队可以直接用，建议点开了解具体实现。

原文

5月13日

21:36

21:36IT之家（博客/媒体）

谷歌在 2026 年 Android Show I/O Edition 活动中宣布，安卓 17 将引入操作系统验证功能，帮助用户确认设备是否运行官方认证的安卓版本，重点针对伪装成正版系统的恶意修改版。该功能会展示 Play Protect 状态、引导加载程序状态和版本号信息，用户还可借助另一台设备完成验证。该功能将率先登陆 Pixel 10 系列，随安卓 17 稳定版上线，其他厂商后续也可能纳入。

AI产品安卓 17 系统验证安全

推荐理由：安卓用户终于有了官方手段识别仿冒系统，Pixel 10 用户可以直接用，其他品牌用户也值得关注后续适配。

原文

21:36

21:36官方一手Anthropic: Engineering（资讯）

70°

Anthropic 为 Claude Code 推出了自动模式（auto mode），允许在特定安全条件下自动执行命令，无需每次手动确认权限。该模式通过细粒度的安全策略和沙箱机制，在提升开发效率的同时降低误操作风险。开发者可以配置允许自动执行的命令类型，如文件读写、代码运行等，并设置限制条件。这一更新解决了频繁权限弹窗打断工作流的问题，尤其适合自动化脚本和持续集成场景。

AI产品 Claude Code 自动模式权限管理

事件专题

推荐理由：Claude Code 的自动模式解决了频繁权限确认打断开发流的问题，做自动化脚本和 CI/CD 的团队可以直接配置，提升效率的同时保持安全控制。

原文

21:36

21:36官方账号Simon Willison’s Weblog（博客/媒体）

Simon Willison 发布了一个实验，展示如何在 CSP 保护的沙箱 iframe 中加载应用，并通过自定义 fetch() 拦截 CSP 错误，将错误信息传递给父窗口。父窗口可以提示用户将出错的域名添加到允许列表，然后刷新页面。该实验使用 GPT-5.5 xhigh 在 Codex 桌面应用中构建。这一方法解决了 CSP 严格策略下第三方资源加载的灵活性问题，为安全与可用性平衡提供了新思路。

论文内容安全策略 iframe 安全

推荐理由：做安全或前端开发的团队会感兴趣——这个实验让 CSP 允许列表动态化，既保持安全又减少用户被拦在门外的挫败感，值得点开看实现细节。

原文

21:35

21:35官方一手Anthropic: Research（资讯）

Anthropic 于 2026 年 4 月 9 日发布了一份关于构建可信智能体的实践指南，旨在帮助开发者和企业安全、可靠地部署 AI 智能体。指南涵盖了智能体在决策、执行任务时的信任与安全挑战，包括如何确保智能体行为可预测、可审计、符合用户意图。Anthropic 强调了透明性、可控性和鲁棒性的重要性，并提供了具体的技术建议和设计原则。这份指南对于正在或计划将智能体投入实际应用的团队具有重要参考价值。

行业智能体可信AI 安全

事件专题

推荐理由：智能体落地最大的障碍就是信任问题，Anthropic 这份指南直接给出了可操作的设计原则和技术建议，做智能体产品的团队值得仔细研读。

原文

21:35

21:35官方一手Anthropic: Engineering（资讯）

精选

Anthropic 发布 Claude Code 的安全升级，引入沙箱执行环境和细粒度权限控制，使 AI 编程助手在自主执行代码时更安全。新系统允许用户为不同操作设置权限级别（如允许、拒绝、询问），并支持在隔离环境中运行高风险命令。这解决了 AI 编程工具在自动化过程中可能误操作或泄露敏感数据的问题。开发者可以更放心地让 Claude Code 自主完成复杂任务，同时保持对关键操作的控制。

AI产品 Claude Code 安全沙箱

事件专题

推荐理由：AI 编程助手的安全性是团队上生产的关键门槛，Anthropic 这次用沙箱和权限分层解决了自主执行的风险痛点，用 Claude Code 做自动化开发的团队值得仔细看。

原文