arXiv 研究:grokking 现象不会改变神经网络训练能效曲线
训练模型烧电,能量效率能不能预测?这篇论文用 modular arithmetic 和 MNIST 实测后发现:即便模型出现 grokking 式的延迟泛化,能耗效率曲线照样平滑下降。做训练成本估算、能耗优化的工程和研究人员可以看看他们的实验设计。
训练模型烧电,能量效率能不能预测?这篇论文用 modular arithmetic 和 MNIST 实测后发现:即便模型出现 grokking 式的延迟泛化,能耗效率曲线照样平滑下降。做训练成本估算、能耗优化的工程和研究人员可以看看他们的实验设计。