#可解释性
这篇论文把权重空间消融的分析从单层推到了多层,还在Qwen2.5上验证了闭式注意力界,顺手找出了一个涌现电路,挺有意思。
想搞懂马尔可夫决策过程控制器可解释性的可以看看这个。dtControl2+ε用ε容忍度换更小更易懂的决策树,比原先的压缩效果好很多。
这篇论文用FEGA方法分析了稀疏自编码器特征的下游几何,发现大多数特征不是单方向,value-like和pointer-like特征效果不同,对理解模型可解释性很有启发。
想看MLA到底怎么工作的?这篇论文用114M模型做实验,发现cKV只记内容不记位置,还能省81%缓存,归纳头也全挤在一层,挺有意思的。
这篇论文用了一种叫bag-of-waves的巧办法,只需少量数据就能从脑电信号里学到可解释的波形模板,比那些黑箱深度模型好懂,还省钱省算力。
这篇论文告诉你,艺术家也能像玩材料一样玩扩散模型内部。他们在ComfyUI做了交互工具,能直接操纵Stable Diffusion的层,看到具体变化。不是理论说教,是真能动手调的。
时间序列分类的黑盒解释往往只找够用的特征,但可能抓到噪音。这篇论文提出了TimePNS,用反事实推理揪出真正必要的子序列,实验效果比现有方法好。
Anthropic这篇论文把思维链和steering向量的工作机制讲透了,告诉你什么时候推理是真起作用,什么时候只是马后炮。搞可解释和推理的都该看看。
想了解怎么让GUI智能体更可控?这篇论文讲了Plover系统,能把内部计划展示出来让你改,实验证明能修好很多翻车案例,比黑箱靠谱多了。
这篇论文提的S^2AE让视觉语言模型里稀疏编码的概念更一致,比普通SAE语义对齐涨了6%,还能保持高重建质量。搞多模态可解释性的可以看看。
Anthropic 用新可解释性技术找到了 Claude 内部的 J-space,类似大脑的全局工作空间,搞明白了模型怎么处理想法。适合关心 AI 可解释性的人看。
这篇论文提出了一个能同时处理基因、蛋白质和miRNA数据的可解释深度学习框架,在乳腺癌生存预测上效果不错,适合关注多组学分析和可解释AI的读者。
Anthropic发现Claude有个隐藏的“思考空间”J-space,模型能在里面默默推理,不写出来。删掉它复杂推理就变差,还能看到模型私下的想法,挺有意思。