主要来源arXiv cs.AI
查看原文事件专题 ·单一信源
论文提出模拟控制评估 SCE:用模型模拟环境预测安全指标
Redwood 类控制评估(control evals)通常在专用环境中测试安全措施能否拦截故意作恶的模型,再将结果外推到实际部署。论文提出模拟控制评估(SCE),用语言模型模拟工具响应来替代真实环境。在 LinuxArena 上对照真实执行结果,SCE 预测安全性的 RMSE 为 3.6 个百分点(5% 审计预算、5 个监控器),优于在 BashArena 单独环境执行的 10.1。SCE 对攻击策略分布的 KL 散度比 BashArena 低超过十倍,能解释 78-85% 的跨环境攻击成功率、监控得分与安全性方差。通过模拟发现的策略还能提升监控器在 held-out LinuxArena 攻击上的表现,效果接近真实执行的策略。
当前结论
一篇 AI 安全方向的新论文,教你用语言模型直接模拟环境做安全评估,预测误差 3.6 个百分点,比传统 BashArena 的 10.1 准得多。做红队或评估的同学可以看看。
2 个信源47° AI 热度最后更新 2026/10/22 17:26:42
证据链
2 个信源相关来源 1METR
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。