主要来源arXiv cs.AI
查看原文事件专题 ·多源确认
机制可解释性研究解释 Web 智能体的幻觉失败:线性探针达 0.80 AUC
一篇 arXiv 论文研究了机制可解释性(MI)工具能否解释 LLM 智能体的决策失败,聚焦 Web 智能体幻觉出不存在的网页操作这一具体场景。研究对象是 Qwen2.5-7B-Instruct 在真实网站上的交互过程。 实验结果显示,基于最后一个 prompt token 训练的线性探针可在生成开始前预测幻觉,AUC 达 0.80;沿探针方向进行 steering 可以纠正 85% 的幻觉,但会破坏 7% 的有效操作。不过这只是部分解释:探针方向对 prompt 格式高度敏感,操作表示方式稍作改动后 steering 效果大幅下降。 论文还指出,电路识别存在困难,因为计算分布在多个组件和位置上,智能体依赖的信息也随样例变化。作者讨论了这些观察如何挑战标准 MI 方法在电路发现和特征识别上的底层假设,并提出了让这些方法适配智能体失败分析的未来方向。
当前结论
如果你做过浏览器操作智能体就会懂:它老点不存在的按钮。这篇用 Qwen2.5-7B-Instruct 做了很扎实的机制分析,探针预测 0.80 AUC、steering 纠 85% 幻觉,但格式一变就失效,把可解释性方法的局限讲得很诚实。做智能体评测和可解释性研究的人都该看看。
3 个信源38° AI 热度最后更新 2026/11/13 18:30:58
证据链
3 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。