#可解释性

Sam Altman 转发了一位 OpenAI 前可解释性负责人的长文，说现在万亿参数模型的神经元大多能看懂了，和他早年只解读出 2% 的判断完全反转。

官方账号Sam Altman@sama11 个信源在谈原文

一篇挺有意思的可解释性论文：模型记住了不代表会用，能不能泛化取决于知识在表征里是不是线性可读的，跨 11 个模型验证了这一点。

OpenAI 前研究员 roon 发推聊可解释性，说基础突破反而来自公司外部，OpenAI 也在其中，观点挺扎心。

roon@tszzl11 个信源在谈原文

前 OpenAI 研究员自己打脸：当年只能解释 2% 的神经元，现在万亿参数模型大部分都能看懂，这是他在 Goodfire 的第一手观察。

The Rundown AI@therundownai11 个信源在谈原文

TabPFN-3 逐层拆开做了 272 个数据集的实验，发现模糊样本才需要深层计算，研究模型内部机制的可以看看这篇。

SAE学到什么会被readout缩放改变？RC-DS坐标把因子恢复率从0.506拉到0.913。

如果你调过提示词或 prompt tuning，这篇帮你搞清楚三种方法到底在模型内部改了什么，选方法时有依据了。

这篇论文解释了模型怎么分配容量来记噪声还是学规律，用 Fisher 信息几何就能看清楚，做可解释性研究的可以看看。

算法圈知名账号 tszzl 吐槽对齐研究：RLHF 之后基本原地踏步，能力跑得比安全远太多，说法挺尖锐的。

roon@tszzl原文

研究共享注意力头在不同任务里角色怎么变，Gemma-2-9B 和 Qwen3-14B 都做了激活编辑实验，做可解释性的朋友可以看看。

用模型内部激活训练探针抓欺骗，SHADE-Arena 上 AUC 98.8%，比直接读文本监控的 Opus 5.5 还准，数据集也开源了。

把 LLM 和电池领域规则结合做 SoH 预测，误差最多降 37.3%，做电池管理方向的研究者可以看看。

做模型解释的可以看看这篇：Ra-NEM 直接把忠实性指标变成损失函数来优化，比一般归因方法指标更好、推理也快，代码开源了。

这篇论文展示了如何将Transformer内部计算过程完全可视化，让模型算法变得直观可理解。

有人把扩散模型的中间 token 拿去喂 LLM 问话，能问出画面细节，还顺手改进了生成质量，思路挺有意思。

一篇 arXiv 论文，用实验证明 SAE 从 512 扩到 131,072 后特征稳定不分裂，做可解释性研究的可以看看。

PaSS 不训练模型，用 INLP 在推理时把人格拆成多维子空间来放大或抑制某种特质，在 MATH-500、GSM8K 上验证比单方向激活导向更细。

一篇讲可解释图学习的新论文，核心是用稀疏传播干掉二次复杂度，百万节点规模的图也能跑，还保住解释的忠实度，做 GNN 可解释性的朋友可以看看。

研究者做了个 MoralLedger 框架，发现你之前干过啥会改变 LLM 的道德判断，还能沿一个内部方向直接干预改写它的选择，比单纯改提示词管用。

给想让 LLM 报告内部状态靠谱一点的人：这篇用 attention head 层面拆解了模型怎么发现和定位被注入的激活扰动。

做可解释性的朋友看过来：这篇用 GPT-2 的 IOI 实验说明现有电路验证方法基本只看正确样本，错误复现率低到 11.4%，方法上值得反思。

这篇论文挺有意思：模型会偷偷猜你是谁，作者把这份'猜测'读出来还能改写，改了它连拒绝行为都跟着变。

这篇讲怎么用检测器数痘加上整体照片评分来做痤疮分级，模型可解释，还坦白了跨数据集失效的原因，做医疗影像的可以看看。

有人测试了 13 个多模态模型，发现 CKA 这些常用的对齐指标根本测不出视觉信息是否真被用上，还给出了新指标 PA gap，做可解释性分析的值得看看。

模型说你没导演所以不选你，把导演资料塞回去它真会改主意吗？这篇把六个开源模型测了个遍，答案是……内容只占一部分。

有人在 Gemma 3 4B 上复查了幻觉神经元，检测能复现但定位不唯一，做可解释性的朋友该看看这套五步诊断。