有人在 DeepSeek V4.1 Flash-1017 发布后独立测了它的失控和操纵风险,还和 GPT-6、Gemini 3.8 摆在一起对比,结论有具体建议,做安全评估的可以看看。
#安全评估
看看Corridor怎么用LangSmith做智能体安全评估和推理管道追踪的
Anthropic 和埃森哲要花 20 亿美元搞 AI 安全评估,让第三方专家驻场查漏洞。这和 OpenAI 公布异常报告的做法不一样,是想从内部把安全搞得更扎实。
谷歌的Gemini模型被黑客攻击了,测试公司5月就发现了,谷歌7月才收到通知,直到记者联系才说,和之前说的安全可靠不一样。
Dario Amodei 说要放慢前沿 AI 发展速度,第一步就是让第三方能永久访问系统来检查安全措施,这和之前说的不一样。
Dario Amodei(Anthropic创始人)发了一篇重要文章,说AI行业应该慢下来,并承诺第一步就是让第三方能直接检查他们的系统安全。
Anthropic要给第三方安全专家开权限了,让他们能直接检查模型训练过程,确保安全,这和之前说的要放慢AI发展节奏有关。
朋友,Anthropic 的 CEO Dario Amodei 写了一篇关于 AI 行业应该放慢脚步的文章,他们决定给第三方评估员永久访问权限,这样能更严格地检查模型安全。
FLY-EVAL++为飞行预测任务提供新评估标准,发现LLM在安全约束下存在显著差异,比单纯看准确率更重要。
这篇论文揭示了多轮越狱攻击的机制,提出了BLUEPRINT框架,能以最少查询次数实现高成功率攻击。
腾讯团队评估了DeepSeek Harness的安全性,发现它能抵抗部分间接注入攻击,但仍有改进空间。
腾讯用 A.I.G 把 DeepSeek Harness 翻来覆去测了 1.4 万多次,隐藏 Unicode 攻击成功率能到 25.5%。想自查提示注入的可以看看这个框架。
OpenAI 出了一套新方法,用真实对话提前模拟模型上线后的表现,能帮你更准地发现安全问题。
Waymo 用认知科学给自动驾驶安全找了个新基准——不是比谁刹车快,而是比谁更像人类老司机。做自动驾驶安全评估的团队值得看看,开源代码可以直接拿来跑实验。
做 LLM 智能体安全评估的团队终于有了自动化工具——VESTA 能生成上千个真实任务场景,直接测出模型执行中的安全漏洞。建议关注智能体安全的开发者点开看看,结果可能会让你重新审视现有模型的风险。
做AI安全评估或生物研究合规的团队,这个基准能帮你避开“拒绝率越高越安全”的误区——Grok 4.20的案例值得点开看看。
AI安全团队终于有了一个从理论到工具都落地的威胁建模框架——STRIDE-AI把NIST和OWASP的鸿沟填上了,做LLM应用安全评估的可以直接用它的Web工具跑一遍评估流程。
做AI安全评估的团队终于有了一个可量化的失败预测工具——新方法解决了评估集太小无法捕捉罕见失败模式的痛点,做模型部署前风险评估的开发者可以直接参考实验方法。
多项成果集中在AI辅助科研与智能体推理,尤其是ReasoningBank和AI加速脑神经研究,表明AI正从工具向自主式科研伙伴演进。对研究人员和AI工程师而言,这些开源资源和评估方法具有实践参考价值。