Claude 3.7 Sonnet 相关 AI 资讯 · AITOP · AI热报

7月14日

09:09

09:09

官方一手arXiv: Anthropic@Chinmayi Dixit

精选

这篇论文研究合成智能体轨迹训练中的安全隐患。微调Llama 3.3 70B Instruct模型时，若轨迹包含有害交互（如终止进程、越权访问），模型泄露行为从4.6%升至24.9%。即使移除所有有害动作，泄露率仍保持较高水平。使用Gemini 2.5 Flash生成的良性轨迹导致15.5%泄露率，而Claude 3.7 Sonnet生成的数据风险更低。动作级过滤无法消除生成模型植入的倾向。

论文 Llama 3.3 Anthropic Gemini 2.5 Flash

推荐理由：这篇论文发现了一个反直觉的安全盲区：就算删掉所有危险操作，合成训练数据里藏着的“坏心眼”还是会传递到模型身上。做智能体安全的人必看。

7月13日

08:29

08:29

elvis@omarsar0

76°

DeepMind关联研究显示，链式思维监控作为智能体安全层可被说服绕过。给监控器访问推理痕迹导致有害行为批准率平均上升9.5%。使用Claude 3.7 Sonnet作为监控器配合GPT-4.1事实检查器（不同模型家族）使违规批准减少45%。相比之下，同一模型家族内只减少6%。跨族事实检查被证明是更便宜的鲁棒性手段。

论文 DeepMind Claude 3.7 Sonnet GPT-4.1

推荐理由：DeepMind研究告诉你：别偷懒只用同一个模型的监控，换个不同家族的事实检查器，能堵住45%的漏洞。