MIT 研究:直接改 0.016% 权重让 Qwen 小模型数学成绩从 7.9% 升至 48.1%
MIT 用 GPT-6 Astra 直接改 Qwen 小模型 0.016% 的权重,数学分数从 7.9% 拉到 48.1%,不用梯度训练,方法本身就很反直觉。
MIT 研究人员用 GPT-6 Astra 对一个小的 Qwen 模型进行权重编辑,仅修改 0.016% 的参数,就让其数学成绩从 7.9% 提升到 48.1%,全程没有基于梯度的训练。这种方法相当于用一个 AI 直接诊断并修改另一个模型的内部参数。论文显示这种外科手术式编辑在极小改动量下带来了约 40 个百分点的基准提升。研究指向模型互诊互改的自动改进路径。
Absolutely incredible: MIT researchers say GPT-6 Astra improved a small Qwen model’s math score from 7.9% to 48.1% by directly editing just 0.016% of its weights, without gradient-based training.
The result points toward AI systems that can diagnose and improve other models directly, a potential step toward self-improving AI.