事件专题 ·多源确认

MIT 提出权重空间编程:GPT-6 Astra 改 Qwen3.5-0.8B 约 0.016% 权重,MATH-500 提升至 6 倍

MIT CSAIL 研究人员提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的神经网络权重,全程不用梯度下降或反向传播。Astra 定位到该模型第 15 层和第 19 层 MLP 中导致推理循环的重复方向,仅修改 131072 个权重,约占总参数的 0.016%。修改后模型在 MATH-500 上的成绩从 7.9% 升至 48.1%,在 GSM8K 上从 13.8% 升至 67.1%,IFEval 指令遵循成绩从 21.0% 升至 62.3%。对照实验显示,很少出现推理循环的 Gemma 3 270M 在 MATH-500 上仅从 6.8% 升至 7.7%,说明该方法能消除能力发挥的障碍,但难以创造模型原本不具备的能力。

当前结论

MIT 那帮人让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,只动 0.016% 参数,数学成绩翻了 6 倍,全程没跑训练循环,思路很新颖。

4 个信源76° AI 热度最后更新 2026/11/3 02:00:55

证据链

4 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。