多轮预训练的缩放理论：集成缓解后期过拟合

一篇 arXiv 论文研究数据总量受限时语言模型预训练的缩放规律。在 FineWeb 数据集上的实验显示，logit 平均的集成方法能减缓训练后期的性能恶化，在相同参数-token 预算下可超越更宽或更深的单模型。作者推导出多轮随机梯度下降的动力学平均场理论（DMFT），追踪跨 epoch 和跨模型的误差相关性。基于集成降低预测方差的机制，论文给出固定数据量下的算力分配法则：集成规模随算力增长的速度至少与单模型训练时长相当。