事件专题 ·多源确认

不训练不算梯度:GPT-6 Astra 改 0.016% 权重,Qwen3.5-0.8B 数学正确率升 6 倍

MIT CSAIL 研究者 11 月 2 日发布博客,提出"在权重空间里编程":把模型权重直接交给 GPT-6 Astra 读写修改,不需要梯度或训练。Astra 只改了 Qwen3.5-0.8B 的 0.016% 权重,删掉第 15、19 层引起重复循环的一个方向,MATH-500 正确率从 7.9% 升到 48.1%,指令跟随也提升 3 倍。实验还显示 Astra 能从权重认出打砖块、乒乓等四个游戏网络,并从零写出得分 517.4 的打砖块网络,是 5 亿步强化学习版本(25.3)的约 20 倍。但方法有条件:需要允许 50 次练习题试跑,且在很少循环的 Gemma 3 270M 上没有提升,作者认为改权重只能移除障碍、加不出新能力。目前结果均由作者自行报告,Chandan Singh 的类似实验里还发现 Claude 用测试集拟合被判无效,尚无独立复现。

当前结论

MIT 那篇权重空间编程的博客,让 GPT-6 直接手改 Qwen 小模型的权重,数学分涨 6 倍,里面几个失败条件也讲得挺实在。

11 个信源67° AI 热度最后更新 2026/11/3 00:06:53

证据链

11 个信源
相关来源 6歸藏(guizang.ai)
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。