论文多源确认

GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重,数学能力提升 6 倍

精选理由

有人让 GPT-6 直接手改 Qwen 小模型的权重,不改 99.98% 的参数,数学就涨了 6 倍,全程零训练零梯度,思路很邪门,推荐看看原文。

研究者 Rikiya Takehi 让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力。整个过程不使用梯度、不做训练,模型只改动了 0.016% 的权重,就修复了 0.8B 小模型陷入推理死循环的问题。改动后 Qwen3.5-0.8B 的数学能力提升最高达 6 倍,指令遵循能力也提升 3 倍。研究者将这种方法称为 Weight-Space Programming(权重空间编程),即前沿 LLM 原生读写神经网络权重。

原文 · orange.ai

RSI 初现端倪 连模型训练都不需要了。。 直接用大模型直接修改小模型的权重 让其数学能力提升六倍 Rikiya Takehi @rikiyatakehi We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: rikiyat.github.io/blog/weight-sp… q 🔗 View Quoted Tweet 💬 34 🔄 4 ❤️ 81 👀 14706 📊 33 ⚡