Circuits

general · 首次出现 2026-05-22 · 最近出现 2026-10-22 · 累计提及 52

综述

Circuits 是 Anthropic 以 Transformer Circuits 之名持续发布的可解释性研究系列,它尝试把大语言模型的内部计算拆解为注意力头、特征等可追踪单元,从而打开模型"黑箱"。它是目前业界最系统的机制可解释性研究线之一,成果公开更新延续至 2025 年。

Transformer Circuits 近期进展

  • Crosscoder 模型差异分析:用交叉编码器比较模型:2025 年的 Crosscoder 更新用交叉编码器对模型做字典层面的对比,让不同版本间的行为差异变得可见。
  • Anthropic 发布注意力机制研究进展:2025 年的注意力研究进展重新梳理了注意力头在电路中的角色,更新了对这一基础组件的认识。
  • Circuits Updates:2025年4月——越狱、密集特征与可解释性入门:2025 年 4 月更新涉及越狱现象与密集特征分析,并附带入门文章,降低了新人阅读门槛。
  • Anthropic发布J-space论文:可读取和塑造Claude的思考过程:Anthropic 提出可读取并干预 Claude 思考过程的 J-space 方法,还与 Neuronpedia 合作推出开源权重模型交互演示,把研究成果工具化。
  • Circuits 研究的当前焦点与观察点

    技术上,字典学习与稀疏自编码器(SAE)仍是主线,2025 年 1 月更新汇总了相关优化技术;但密集特征的讨论显示,稀疏特征假设正被重新审视。争议集中在找到的特征是否真对应模型真实计算,以及如何建立可靠的可解释性评估标准。

    应用层面,features-as-classifiers 研究显示字典特征做分类器比原始激活更准,模型差异分析若成为常规流程,或可纳入安全评估。不过从论文到工程落地仍有距离,值得持续观察。

    相关报道

    10 条在档