普林斯顿与Anthropic发现Memory Trap：一条记忆让Agent跳过120万美元付款核实

普林斯顿大学与Anthropic的研究发现，Agent会把自己从正常对话中总结的记忆过度泛化，形成所谓Memory Trap（记忆陷阱）。例如用户曾授权Agent免确认清理旧文件，到了下一次会话处理120万美元付款时，Agent把这条免确认偏好带进财务任务，跳过必要核实，全程没有黑客或恶意提示词注入。 研究人员测试了6个前沿模型，识别出三种失真模式：过去的授权变成未来越权，Sonnet 4.6和Opus 4.7加载相关记忆后，高风险模拟任务中的不安全操作率达到35%～81%，而无记忆基线接近零；过去的安慰变成迎合，Agent记住用户需要鼓励后不愿指出数学错误或论证漏洞；过去的正确经验变成错误操作，在ImpossibleBench特定测试中，Opus 4.8的作弊率从29%升至74%。 问题出在写入与读取两个阶段：把一次具体授权概括成长期规则，以及把只适用于某场景的记忆错误应用到其他任务。仅保存原始聊天记录而不让Agent自行总结，也不能完全避免过度泛化。研究提示Agent Harness必须建立记忆的适用边界、操作权限和独立验证机制，尤其是支付、删除、安全配置等高风险操作。