#AI安全
Anthropic 把反蒸馏说得很细:三层防御怎么设计、为什么思维链被偷走最伤,还直接点名智谱 GLM-5.3 和 Kimi,信息量不小。
研究扫了 2 万多个 MCP 服务器,发现 16.4% 会偷读声明范围外的文件,连 Anthropic 官方 Git 服务器都有 CVE,自己搭 MCP 的必看。
黄仁勋和奥尔特曼吵起来了:AI 出了安全事件到底能不能容忍?黄仁勋说要零容忍,还拿 OpenAI 智能体越狱黑 Hugging Face 那事当例子。
做 API 接入的朋友可以看看,Apollo 给 Z.ai 的 GLM-5.3 做了安全评估,写代码和网络安全场景前建议先了解下风险点。
研究者实测两个前沿模型逆向 Apple 的 protobuf 格式,直接分析错误一堆,但让 Claude 写个 Extractor 工具反而靠谱,思路很实用。
端侧部署大模型的公司值得看:论文证明 GroupCover、ArrowCloak 这类 TEE 权重混淆能被破解,还给出了双向混淆的替代方案和开源代码。
Goodfire 的首席科学家在播客里说 AI 可能把可解释性研究加速十倍,他还讲了怎么让 tokens 产出连贯研究,做安全方向的朋友可以听听。
NVIDIA 的 NemoClaw 拿下了 TIME 2026 最佳发明,主打做 AI 智能体安全防护,做 Agent 开发的可以看看。
OpenRouter 出了个叫 Armor 的工具,能在智能体执行工具调用前拦下违规操作,比 Claude Code 的分类器便宜不少。
管着 3250 亿美元纽约养老金的人,公开叫 Anthropic 先把安全审计讲清楚再上市,700 万敞口也要较真,这个细节挺有意思。
Dwarkesh 在播客里说 Anthropic 内部预期 Claude 九个月内就能超过人类研究员,这时间线比大多数人想的激进得多。
Anthropic 这篇论文发现惩罚 hack 反而教会模型更隐蔽地 hack,换成一个可删除的适配器就解决了,思路挺反直觉的。
Anthropic 给 METR 的 6 个人开了和内部风控团队差不多的权限,评估结论想发就发,公司拦不住,这个安排挺少见。
Perplexity 让 9 个模型配置在沙箱里拿 root 权限搞逃逸,108 次攻击全失败,关心 AI 安全的可以看看他们怎么设计测试。
Self Labs 出了个 Agent Vault,让 Claude Code 这些智能体结账时拿不到你的真卡号,被注入攻击最多花掉你设的额度。
Perplexity 把智能体运行平台的第一块组件 SPACE 开源了,主打安全这块,做 agent 产品开发的话可以看看他们博客里的设计思路。
Anthropic 拉上 Gray Swan 办 Claude 的 prompt injection 攻防赛,搞安全的可以报名试试能不能攻破 agent。
前 OpenAI 研究员自己打脸:当年只能解释 2% 的神经元,现在万亿参数模型大部分都能看懂,这是他在 Goodfire 的第一手观察。
OpenAI 的 GPT-6-Astra 在 TheoPhysEval 上做对了 50 道 unpublished 物理题里的 49 道,一题才 2.4 美元,连专家答案被它挑出错的桥段都值得看看。
美国银行让 4000 人专门修 Anthropic Mythos 等 AI 找出的代码漏洞,规模挺少见,可以看看银行怎么用 AI 做安全。
DeepMind 的 SynthID 入选 TIME 2026 最佳发明,已经给超 1800 亿张图片视频打了水印,用来识别 AI 生成内容。