ReLU是一种广泛应用于深度神经网络的激活函数，定义为f(x)=max(0,x)，因其能有效缓解梯度消失问题并提高计算效率而成为现代深度学习的基石。
ReLU 近期进展
2023年6月，一项研究提出了用查询实现通用ReLU的鲁棒回归方法，其查询复杂度达到近最优水平，为ReLU函数的优化提供了新思路。这项研究用查询实现通用ReLU的鲁棒回归，查询复杂度近最优探讨了ReLU在回归任务中的高效应用。同期，另一项研究探讨了有限精度下学习tanh神经网络的局限性，与ReLU形成对比，揭示了不同激活函数在特定条件下的性能差异有限精度下学习tanh神经网络的局限性研究。