Agent-SafetyBench 相关 AI 资讯 · AITOP

8月28日

19:37

官方账号arXiv cs.AI@Chenhao Wu, Haoxuan Jia, Yang Liu, Yingguang Yang, Yuhan Lin, Chongyang Zhang, Hao Zheng, Yulin Huang, Jianshen Zhang, Yongzhi Qi, Shang Luo, Kefu Xu, Jifeng Zhu, Bin Chong

精选73°

研究人员发现当前LLM智能体安全机制存在组合失效问题。传统安全监控器仅在单次轨迹内工作，无法检测跨迭代攻击。论文提出LoopHarness系统，通过持久化非衰减安全状态，将未授权操作期望数量控制在常数范围内。该研究在Agent-SafetyBench基准上进行了完整评估，包含清洁和攻击场景的配对测试。

推荐理由：MIT学者发现LLM智能体安全漏洞，提出LoopHarness解决跨迭代攻击问题，安全性能显著提升。

原文

8月11日

11:48

官方账号arXiv cs.AI@Wanying Qu, Qinghua Mao, Yu Li, Jiyao Liu, Xin Zhang, Dadi Guo, Yanxu Zhu, Qingyu Liu, Leitao Yuan, Xi Lin, Shanfeng Zhu, Yanwei Fu, Jing Shao, Xia Hu, Dongrui Liu

SHE框架将智能体安全机制分解为系统提示、规则库、安全记忆和工具策略四个组件，每个组件有明确的安全职责。该框架通过归因引导的进化循环，将轨迹失败转化为结构化诊断，并学习组件特定的边界优化。在Agent-SafetyBench上，SHE相比静态SafeHarness将攻击成功率降低3.1倍，同时提升良性效用。进化后的安全机制在AgentHarm基准上泛化到未见风险，并无需额外进化即可跨智能体模型迁移。

论文 SHE LLM智能体 AI安全

推荐理由：SHE把智能体安全从模型权重扩展到运行框架，分解成四个可独立进化的组件，实测攻击成功率降3.1倍，还能跨模型迁移，搞AI安全的值得看看。

原文

8月10日

11:30