ReLU（Rectified Linear Unit，修正线性单元）是深度神经网络中最常用的激活函数，其定义为 max(0, x)，即负值置零、正值保持不变。凭借计算简单、缓解梯度消失等优点，ReLU 及其变体长期占据主流模型激活函数的位置，同时也是理论研究中最常被分析的对象。
ReLU 的近期研究进展
当前焦点与观察点
围绕 ReLU 的研究大致呈三条主线。其一是理论可学习性：多项式时间学习算法、最小范数解的全局最优性等结果，试图回答“ReLU 网络在什么条件下可有效学习”这一根本问题。其二是优化几何：Hessian 特征值结构和近似误差相变等研究，关注训练过程中损失曲面的实际形态。其三是工程落地：ReLU 激活天然产生的稀疏性被用于压缩与加速，例如 BitSparse 这类格式。此外，尽管 GELU、SiLU 等平滑激活在大型模型中更常见，ReLU 因其可分析性仍是理论工作的首选载体，相关结论往往能间接指导更一般激活函数的理解。值得观察的是，稀疏激活的硬件友好特性可能让 ReLU 在推理成本敏感的场景中保持一席之地。