论文多源确认

MIT CSAIL用GPT-6 Astra编辑Qwen3.5-0.8B权重,改动0.016%参数使MATH-500提升6倍

精选理由

MIT让GPT-6 Astra直接改Qwen3.5-0.8B的权重,不训练只动0.016%参数,MATH-500从7.9%冲到48.1%,思路很像给模型做基因编辑。

MIT CSAIL研究人员提出Weight-Space Programming权重空间编辑方法,让GPT-6 Astra分析Qwen3.5-0.8B的内部参数,找到与重复推理相关的权重方向并做针对性修改。整个过程不走梯度下降、不做训练,只改动了约0.016%的权重参数。在最强示例中,该模型在MATH-500上的成绩从7.9%提升到48.1%。作者称这类似于给神经网络做基因编辑,通过修改少量参数缓解小模型的推理死循环。

原文 · AIGCLINK

MIT CSAIL研究人员让GPT-6 Astra去修改Qwen3.5-0.8B的权重,只改动了0.016%的参数,就让数学测试成绩提高了6倍

不走梯度下降、不做训练,只动了约0.016%的权重,在最强示例里,MATH-500从7.9%提到 48.1%

过去优化模型,通常需要收集数据、训练、调参,消耗大量计算资源

这个有点像给神经网络做基因编辑,让更强的模型分析小模型内部参数,找到与重复推理相关的权重方向,再针对性的修改少量参数,缓解推理死循环

作者把这叫Weight-Space Programming权重空间编辑

如果可复现,这可能会改变AI行业优化模型的方式,甚至催生出一种新分工,让大模型充当小模型的工程师

#AI优化AI #AI模型优化 #AI自我改进