生物启发激活函数进化策略提升神经网络性能
这个研究挺有意思,用生物学的思路来优化神经网络,比如模拟生物钟来调整激活函数,结果发现这样能让模型更快找到好的解法。
这个研究挺有意思,用生物学的思路来优化神经网络,比如模拟生物钟来调整激活函数,结果发现这样能让模型更快找到好的解法。
这篇论文对比了ES和GRPO两种训练方法,发现ES能带来更广泛的推理覆盖,还提出了结合两者优势的GRPO-ES顺序训练策略。
用少量梯度找方向,再用ES在子空间里搜,省资源还比GRPO-LoRA高1个点,有代码。
别浪费算力跑进化循环了——这篇论文实测发现多轮迭代没用,用一次采样加集合选择反而效果翻倍,还省了90%的调用成本。
这项研究打破了深度学习十年来的反向传播依赖,做大规模模型训练或非可微分任务(如强化学习、神经架构搜索)的团队可以直接关注 EGGROLL,它可能改变你构建模型的方式。