MIT CSAIL 用 GPT-6 Astra 直接改写 Qwen 0.8B 权重，数学能力提升 6 倍
MIT 团队不训练不微调，直接让 GPT-6 Astra 改 Qwen 0.8B 的权重，改 0.016% 参数数学就快 6 倍，脑洞很新。
MIT CSAIL 团队提出 Weight-Space Programming 方法，用 GPT-6 Astra 直接编辑 Qwen 0.8B 模型的权重文件。仅修改 0.016% 的权重，就让模型数学能力提升 6 倍、指令跟随能力提升 3 倍。整个过程没有梯度更新、没有重新训练或强化学习，还修复了该模型重复推理、频繁触及思考长度上限的问题。团队认为这为模型控制和可解释性提供了一套类似编程的操作体系，小模型尤其适合这种改写方式。
昨晚推上 AI 圈最热门的研究： 我们可能可以像编程一样，让 AI 编写 AI 模型的模型权重文件了。 MIT CSAIL 团队团队用 GPT-6 Astra 直接编辑了 Qwen 0.8B 模型的权重，大幅提升了它的数学能力。 他们仅更改了 0.016% 权重的情况下，将数学能力提高了 6 倍，指令跟随能力提高了 3 倍。 没有进行重新训练，也没有进行后训练和强化学习，只是直接更改了它的参数。 这带来了一个非常新的范式，对模型的可解释性有了大幅提升，也就是说我们可能可以不通过训练，直接提高模型能力。 特别大的模型由于参数量太大，可能会比较麻烦，但小模型在未来一段时间内能力会大幅提升。 具体有这么几个方向： 释放它已有的能力，比如实验里改善的千问 0.8B 出现重复推理、频繁触及思考长度上限的问题。 将某种控制策略直接移植到模型里面去。模型的控制和对齐是非常难的事，现在可以直接硬性控制它。 重新组织计算。用更有效的计算路径，替换模型训练出来的低效策略。 相当于给模型训练和控制做了一套编程体系，这个想象力太大了。 Rikiya Takehi @rikiyatakehi We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: rikiyat.github.io/blog/weight-sp… q 🔗 View Quoted Tweet 💬 33 🔄 2 ❤️ 31 👀 5582 📊 26 ⚡
