#训练稳定性

训练流模型总不稳定？试试把最优传输小批量耦合做大，这篇论文给出了可扩展方案和方差下降证明。

Muon grok虽快，后grokking会崩到27.59%；冻结embedding/readout就能稳。想用Muon训Transformer的注意。

这篇论文找到了混合量子神经网络训练不稳定的一个隐藏原因——测量值范围太小，并提出了一个简单的可学习缩放参数QMT来解决。实验在蛋白质分类和Fashion MNIST上都有效果。

低精度训练是降低大模型成本的关键，但数值不稳定常让训练白费。GNMR用轻量控制解决了这个痛点，做大规模训练或量化训练的团队值得关注，可以直接集成到现有流程中。