Activation

general · 首次出现 2026-05-22 · 最近出现 2026-11-20 · 累计提及 89

综述

Activation(激活)是神经网络中的核心概念,指输入经过非线性函数(如 ReLU、GELU)后在层内产生的中间数值,决定了模型“哪些特征被点亮”。在深度学习训练、模型合并、激活转向(activation steering)与可解释性研究中,激活既是优化对象,也是分析语言模型内部机制的关键观测点。近期围绕激活的研究热度集中在转向方法的精度与副作用、上下文学习的电路机制、以及架构搜索中的激活门控设计。

Activation 近期进展

  • 论文提出按输入检索目标状态改进 LLM 激活转向方法:相比对全部输入套用同一组“方向向量”,新方法按输入动态检索目标激活状态,使转向更贴合具体查询,减少一刀切带来的语义漂移。
  • 研究揭示激活转向会引发文本语篇层面的意外变化:转向在改变目标属性的同时,会波及文本的语篇结构(如连贯性与论述组织),提示副作用评估需超越表层指标。
  • SteerCheck: Activation-Steering审计中的归因特异性和对齐泄漏:提出审计转向效果时区分“归因特异性”,并发现对齐相关的泄漏问题,为转向方法的可靠性提供了评估工具。
  • arXiv 论文揭示语言模型上下文学习的内部电路机制:从激活流动角度分析上下文学习如何在模型内部形成“电路”,把行为现象落到具体激活路径上。
  • 当前焦点与观察点

    目前围绕 activation 的讨论呈两条主线。其一是激活转向的工程化:从静态方向向量走向按输入检索目标状态(arXiv 2611.04757),同时 SteerCheck 等审计工作开始要求方法证明其特异性、避免对齐泄漏,说明社区正从“能不能转向”转向“转向是否可控、可审计”。其二是激活作为解释性研究的基本单位:上下文学习电路、模型合并对涌现能力的影响(arXiv 2609.24504 显示合并可保留但无法创造涌现能力,且更快稀释)、以及 Activation-Conditioned Self-Distillation(arXiv 2609.38342)等工作,都把激活状态当作连接行为与机制的中介。

    工程侧同样在关注激活:紧凑神经架构搜索引入 Neuron Gating 与 Mixed Activation 来压缩模型(arXiv 2608.14443),PyTorch 维护者也分享了在大训练前用单卡 GPU 能验证哪些训练假设。值得观察的是,语篇层面副作用与对齐泄漏的发现是否会推动转向方法建立统一评估基准;以及随着自蒸馏与合并研究深入,激活层面的“保留与稀释”规律能否成为模型能力管理的实用工具。

    相关报道

    10 条在档