机制可解释性研究解释 Web 智能体的幻觉失败:线性探针达 0.80 AUC
如果你做过浏览器操作智能体就会懂:它老点不存在的按钮。这篇用 Qwen2.5-7B-Instruct 做了很扎实的机制分析,探针预测 0.80 AUC、steering 纠 85% 幻觉,但格式一变就失效,把可解释性方法的局限讲得很诚实。做智能体评测和可解释性研究的人都该看看。
如果你做过浏览器操作智能体就会懂:它老点不存在的按钮。这篇用 Qwen2.5-7B-Instruct 做了很扎实的机制分析,探针预测 0.80 AUC、steering 纠 85% 幻觉,但格式一变就失效,把可解释性方法的局限讲得很诚实。做智能体评测和可解释性研究的人都该看看。
数学家和 AI 研究者合训了个小 Transformer,让它学三角形铺砌对称群的语言,然后靠看模型注意力模式想出并证明了一个数学猜想。想做可解释性或数学交叉研究的人可以看看这个范式。
一篇机制可解释性的全景综述,从 features、circuits 到 steering 都讲到了,还附代码 notebook 能自己跑实验,想做模型内部分析的不容错过。
有位研究者聊了聊她读 Anthropic 机制可解释性论文的真实感受,还吐槽了里面拟人化的 belief 写法,观点挺直接。
Goodfire 的首席科学家在播客里说 AI 可能把可解释性研究加速十倍,他还讲了怎么让 tokens 产出连贯研究,做安全方向的朋友可以听听。
这篇论文用几何视角解释LLM评判偏见,发现偏见隐藏状态的低维子空间,还能预测模型在未知基准上的失败,挺有意思。
这篇论文提出了CircuitLasso,能以更低成本达到和现有方法一样好的电路学习效果,还能揭示可解释的语义特征如何传播。