在机器学习语境中,Weight(权重)是神经网络中可学习的参数,决定模型如何把输入映射为输出,训练过程本质上就是不断调整权重以降低损失。围绕权重的研究不只停留在训练本身,还延伸到权重合并、低秩适配、权重切换以及权重不确定性等方向,近期多篇工作都在重新思考“好权重从哪里来、要多少才够”这一基础问题。
模型权重研究近期进展
权重与优化器、开源生态的观察点
除了权重本身,权重如何被优化同样受到关注。研究对比乘法与加法状态耦合对学习式优化器调度的影响 比较了两种状态耦合方式对学习式优化器的影响,属于“如何更聪明地更新权重”这条线上的工作。
产业层面,权重也是开源与闭源之争的核心。Microsoft AI 发布参数量 2.8T 的基础模型 MAI-Base-2(报道),Nvidia 则洽谈追加投资开源模型创业公司 Reflection AI(报道)。Nathan Lambert 撰文分析了 Meta 开源模型与 Claude 的差距(原文),指出开放权重模型在能力上仍落后于头部闭源模型。
值得后续观察的点包括:权重平均与低秩方法能否在更大规模模型上稳定复现收益;权重切换式智能体是否会成为能力扩展的新范式;以及开放权重模型与闭源模型的能力差距是在收窄还是固化。