事件专题 ·单一信源

Stanford 论文:Qwen3.5-27B 无梯度自我改写权重,准确率 57.2% 升至 63.8%

Stanford 与多家顶级实验室联合发表论文,发现 27B 开源模型可以在无训练、无梯度的情况下通过推理自行修改权重来提升能力。研究团队给 Qwen3.5-27B 提供自身的权重、带评分的练习答案和一个 Python 会话,并屏蔽梯度。模型对比自己在完成答案与耗尽 token 答案上的隐藏状态,然后削弱区分两者的方向,完成自我修正。 在一组预先固定的 490 道未见题目测试中,这次自我编辑将准确率从 57.2% 提升到 63.8%。但该方法对规模敏感:2B 模型没有做出任何有效编辑,4B 和 9B 模型则改坏了自己。 这项工作挑战了'改进已部署模型必须重新训练'的常规做法——传统上提示词和额外推理计算的收益在任务结束后即消失,而权重自编辑的改进是持久的。对运行大型开源模型的团队,论文建议让模型针对自身失败案例提出权重编辑,但只保留能通过留出测试的编辑。

当前结论

27B 模型不改训练流程、靠对比自身隐藏状态就涨了 6.6 个百分点,这事以前只有重训才能做到。有趣的是规模很关键,小模型会把自己改坏。自己部署开源大模型的团队可以直接照论文方法试试。

2 个信源68° AI 热度最后更新 2026/11/20 17:17:18

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。