事件专题 ·单一信源

论文提出模拟控制评估 SCE:用模型模拟环境预测安全指标

Redwood 类控制评估(control evals)通常在专用环境中测试安全措施能否拦截故意作恶的模型,再将结果外推到实际部署。论文提出模拟控制评估(SCE),用语言模型模拟工具响应来替代真实环境。在 LinuxArena 上对照真实执行结果,SCE 预测安全性的 RMSE 为 3.6 个百分点(5% 审计预算、5 个监控器),优于在 BashArena 单独环境执行的 10.1。SCE 对攻击策略分布的 KL 散度比 BashArena 低超过十倍,能解释 78-85% 的跨环境攻击成功率、监控得分与安全性方差。通过模拟发现的策略还能提升监控器在 held-out LinuxArena 攻击上的表现,效果接近真实执行的策略。

当前结论

一篇 AI 安全方向的新论文,教你用语言模型直接模拟环境做安全评估,预测误差 3.6 个百分点,比传统 BashArena 的 10.1 准得多。做红队或评估的同学可以看看。

2 个信源47° AI 热度最后更新 2026/10/22 17:26:42

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。