Cammarata

general · 首次出现 2026-10-15 · 最近出现 2026-10-17 · 累计提及 9

综述

Cammarata 通常指前 OpenAI 研究员 Nick Cammarata,他是神经网络可解释性(interpretability)研究领域的代表人物之一,长期研究如何理解大模型内部神经元的功能。近期他发布的一组更新引发行业讨论:他认为此前学界对「神经元多义性」(polysemanticity,即单个神经元同时承担多种不相关功能)的理解存在误读,实际上大模型中绝大多数神经元是可以被明确解读的,这一观点得到了 Sam Altman 等人的转发关注。

Cammarata 近期进展

  • Nick Cammarata 新文:神经元可解释性研究曾被误读,Qwen3-32B 审计显示 90% 神经元有明确职能:据相关讨论,对 Qwen3-32B 的审计显示约 90% 的神经元具有明确职能。这一数字如果成立,将大幅改写过去「神经元高度多义、难以解读」的主流判断。
  • Nick Cammarata 称 Agents 推翻 Polysemanticity,改进可解释性:Latent Space 报道指出,Cammarata 认为 agentic 方法的引入推翻了传统多义性结论,并推动了可解释性方法的改进。这意味着研究范式的转变:不是神经元天然不可解读,而是此前的观察方法不够充分。
  • 万亿参数模型中绝大多数神经元已可解读:Cammarata 声称在万亿参数规模的模型中,大部分神经元已经可以被解读,前 OpenAI 研究员的这一表态被多家 AI 资讯账号扩散。
  • Sam Altman 转发 Nick Cammarata:可解释性研究进展超预期:Sam Altman 在转发时表示可解释性研究的进展超出预期,这类来自 OpenAI 高层的背书使讨论进一步升温,相关内容也进入了 2026-10-17 Hacker News 热榜。
  • 当前焦点与观察点

    Cammarata 这轮发言的核心争议在于:他主张的「大多数神经元可解读」与可解释性社区长期持有的「多义性是常态」判断存在明显张力。支持者认为这说明模型结构比想象中更有序;质疑者则指出目前多为个案审计结果(如 Qwen3-32B 的 90%),尚未经过独立复现和同行评审,能否推广到任意规模、任意训练方式的模型仍是未知数。

    值得观察的几点:一是完整论文或技术报告何时发布、审计方法是否开源;二是「用 agents 辅助解读神经元」这条路径能否标准化;三是如果可解释性真的如 Altman 所说「进展超预期」,它对模型安全、对齐和监管可能会产生实际影响。在更多证据出现之前,对这组结论保持谨慎乐观较为合理。

    相关报道

    7 条在档