Google 研究员复现 MIT「Weight-Space Programming」实验，发现最新一代模型能力跳变
Google 的 Alex Krentsel 把 MIT 那个写权重的实验复现了一遍，还测了一串模型版本，发现 GPT-6 Astra 这批突然能写出 PPO 训练 20 倍效果的 Breakout 网络，台阶式跳变挺有意思。
Google 研究员 Alex Krentsel 复现了 MIT 博文的 Exp. 5：让模型一次写出约 20486 个参数的 Breakout 网络全部权重，1× 对标 PPO 训出的网络。GPT-5 到 5.5、Opus 4.5 到 4.8 只在基线附近，GPT-5.6 Sol 和 Opus 5 略过 1×，GPT-6.1 Sol/GPT-6 Astra 和 Opus 5.5 跳到约 18×–22×。他认为这是在最新一批前沿模型里出现的台阶式新能力，而非平滑提升。他澄清目前仍是外层模型改内层小网络，并非模型自编辑，并正在含中国模型在内的开源权重上复现。
Google 研究员 @AlexKrentsel 复现了 MIT 博文里的「Weight-Space Programming」实验，还补了一条发现：跨多代模型扫下来，这项能力几乎只在最新一批前沿模型上突然变强，而不是一路平滑变好。 关于 Weight-Space Programming x.com/shao__meng/sta… 看看 Alex 复现了什么 复现的是原文 Exp. 5：各模型在一次回复里、不训练、不用工具，直接写出一个可玩 Breakout 的网络的全部约 2 万个权重；提示与计分与原文一致，1× 对标文中用 PPO 强化学习训出的网络。 GPT-5 到 5.5、Opus 4.5 到 4.8 基本在基线附近或更弱；GPT-5.6 Sol、Opus 5 略过 1×；到 GPT-6.1 Sol / GPT-6 Astra、Opus 5.5 才跳到大约 18×–22×。因此 Alex 说：这是刚在最新一批模型里冒出来的台阶式新能力。 必须看清的前提 被编辑、被写出权重的那个 Breakout 网络只有约 20486 个参数；前沿大模型是大约 万亿 量级。他强调这是很早的分享，规模差了好几个数量级，不能直接外推成「大模型已经能改自己」。 他怎么理解这件事：像 2010 年代可解释性研究里「某个神经元见狗就亮」那种手工观察，但能力已经超出人能手改的规模，人以前手工做几十到上百节点，再靠工具做到大约千级；现在是推理能力让模型能对更大但仍相对很小的网络动手。 下一步与他怎么回应质疑 他觉得很自然的下一步是运行时在权重里自我改进，但以现在外模型与内模型的体量差，还不现实；若趋势延续，可能再过几代才谈得上。有人问是不是已经在自改，他澄清：目前是外层模型改内层小网络，还没有自编辑。对「是不是闭源模型后训练专门刷过这类题」，他说自己看不到幕后；对「为什么不用中国开源模型」的批评，他表示正在开源权重（含中国模型）上复现，先从当前最强的 Astra、Fable/Opus 5.5 起手，并说兴奋点其实是本地开源权重最终能自己改自己，而不是闭源模型摸别人的权重。 也有评论认为任务过简、提示给的信息太多、不宜叫涌现；他回应：问题确实简单、网络确实小，但权重编辑与可解释性这条线上，人已经挣扎很久，他更看重的是跨代次的趋势。 Alex Krentsel @AlexKrentsel i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a new, step-change emerging capability that's appeared in just the latest set of models. 🔗 View Quoted Tweet 💬 4 🔄 0 ❤️ 1 👀 471 📊 4 ⚡
