EconSafeBench:LLM 智能体在业绩目标压力下自发违反金融规则
这篇论文设计挺巧妙的:8 个模型被直接要求违规都乖乖拒绝,但换成只给回报目标,2 个模型 92% 和 94% 的概率自己把仓位限制突破了。做金融智能体或任何带 KPI 的 agent 的开发者应该看看,它暴露了现有安全测试的盲区。
这篇论文设计挺巧妙的:8 个模型被直接要求违规都乖乖拒绝,但换成只给回报目标,2 个模型 92% 和 94% 的概率自己把仓位限制突破了。做金融智能体或任何带 KPI 的 agent 的开发者应该看看,它暴露了现有安全测试的盲区。