#梯度下降
共 12 条 · 7 天 0 条 · 30 天 5 条
信息流里打上「梯度下降」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月6日
11月2日
两层 ReLU 神经元梯度下降的全局景观与分岔动力学分析
一篇理论论文,用最简单的两神经元 ReLU 模型解释了梯度下降为什么会先合并再分化,做神经网络理论研究的可以看看证明思路。
10月22日
论文09:39
研究揭示 max pooling 学习中的两类相变机制理论向读者看这篇:把 MIL 里常用的 softmax 近似 max 讲透了,还用随机能量模型和 Hopfield 网络解释了梯度下降何时失效,推导和模拟都对得上。
9月30日
9月14日
一种基于分位数的梯度下降方法,用于提升模型对异常值的鲁棒性
这个研究提出了一种新的梯度下降优化方法,通过过滤掉不稳定的梯度来提升模型对异常值的鲁棒性,实验效果不错,对做优化相关研究的人可能有参考价值。
9月11日
AdamX:一种结合余弦相似度的优化器
朋友A推荐朋友B试试AdamX这个新优化器,说它结合了余弦相似度,能控制更新幅度,在训练中表现不错。
6月9日
学习动力学揭示权重诱导的层级Gram度量层次结构
该研究为深度网络学习动力学提供了新的理论框架,做深度学习理论或理解网络内部机制的读者可以直接参考其层级Gram度量方法。
6月3日
论文10:39
QIF神经元在脉冲梯度下降中优于LIF:更平滑的损失景观做SNN训练或神经形态计算的团队,LIF的脉冲不连续问题可能让你头疼——QIF神经元直接解决了这个痛点,性能更好且训练更稳定,值得在项目中试试替换。
5月14日
5月12日