#可解释性
Anthropic这次直接打开了Claude的思维黑箱,能用J-space看它在想什么,还能干预调整,对AI安全来说是个新思路。
这篇文章发现了Claude模型内部有个‘大脑指挥部’——一小部分它能说出来的表征,其他都是自动在干。挺有意思的视角。
BINEVAL把LLM评估拆成一堆“是/否”问题,结果好理解、易调试,在事实一致性上比UniEval还准,还能自己优化提示词。
Google 团队这篇论文解释 DiffusionGemma 的推理黑箱有多大,发现能用 token 瓶颈把深度压到几乎和 Gemma 4 一样,还发现了扩散模型特有的奇怪推理方式。
想试KAN但被碎片化实现劝退?KANLib把PyKAN、EfficientKAN、FastKAN统一成一个高效框架,直接上手跑基准。
这篇论文把换道预测从统计相关提升到因果推理,用DECI模型实现了95%以上的F1分数,还给出了清晰的因果链解释,做自动驾驶可解释性的一定要看。
这篇论文为LLM控制领域拨乱反正——做模型可解释性、安全对齐或行为调控的团队,值得重新审视稀疏自编码器的潜力,建议点开看看如何用标签修正提升控制效果。
做模型对齐和偏好优化的团队终于有了数据层面的诊断工具——不用再盲目调奖励权重,直接看数据教了模型什么。做安全对齐或模型人格定制的开发者建议点开,能省下大量试错时间。
做 AI 应用开发和运维的团队终于有了可审计的全链路追踪——LangSmith 覆盖工具调用和推理节点,建议直接集成到工作流中。
做表征对齐、多模态学习或可解释性研究的团队,这篇论文把概念对齐的混乱局面理清了——CoSAE 用极少量配对数据就能实现强对齐,值得直接复现试试。
做单细胞转录组分析的团队终于有了一个能同时提升性能和可解释性的Transformer方案——scTransformer把基因调控先验直接嵌入注意力机制,比黑盒模型更可信,建议做生物信息学基础模型的研究者点开看看。