#稀疏编码

做可解释性研究的同学可以看看，SAE 跨种子结果不稳定的老问题，这篇用逐样本稀疏编码给出了解法，一致性提升挺明显。

这篇论文提的S^2AE让视觉语言模型里稀疏编码的概念更一致，比普通SAE语义对齐涨了6%，还能保持高重建质量。搞多模态可解释性的可以看看。

想理解大模型内部机制的研究者有了新工具——Sparse Crosscoders 能跨层甚至跨模型提取一致特征，做可解释性分析的建议点开看看。