论文揭示 LLM 智能体「价值-策略解耦」:内部算出最优动作却不采用
这篇论文做了一件很细的活:拿 Qwen2.5 和 GPT-OSS 在 Grid 和 WebShop 上证明模型内部其实能算出哪个动作更优,但策略层面偏偏不用。对做智能体可靠性或可解释性研究的人来说是很有用的诊断框架,NVT 这种干预思路也值得上手复现。
这篇论文做了一件很细的活:拿 Qwen2.5 和 GPT-OSS 在 Grid 和 WebShop 上证明模型内部其实能算出哪个动作更优,但策略层面偏偏不用。对做智能体可靠性或可解释性研究的人来说是很有用的诊断框架,NVT 这种干预思路也值得上手复现。
prompt injection 一直没好办法防,这篇用注意力门控把攻击成功率从 97% 压到 10%,还不太掉性能,做安全或 agent 的值得看。
AWS 放出的实操教程:微调 GPT-OSS-20B 做多语言推理,SFT 直接把准确率从 22% 拉到 100%,还教你什么时候该用 GRPO。
MIT团队发现语言模型内部存在可操控的价值信号,能改变模型行为方向,对AI安全研究有重要意义。