GPT-6 Astra 直接改底层参数修复 Qwen3.5-0.8B 死循环
GPT-6 Astra 只改了 Qwen3.5-0.8B 万分之十六的参数,没重训就把数学成绩从 7.9% 拉到 48.1%,挺离谱的实验。
Qwen3.5-0.8B 存在死循环缺陷。GPT-6 Astra 在不重新训练的情况下,仅修改该模型 0.016% 的底层参数完成修复。修复后数学测试成绩从 7.9% 提升到 48.1%,指令遵循能力提升约三倍。这展示了用前沿模型直接读写神经网络参数来调试小模型的路径。
前沿LLM模型可以直接读懂甚至修改神经网络的底层参数
针对经常陷入死循环的小语言模型Qwen3.5-0.8B,GPT-6 Astra在完全没有重新训练的情况下,只修改了模型0.016%的底层参数,就精准修复了死循环缺陷,直接把数学测试成绩从7.9%提升到48.1%,指令遵循能力也翻了三倍。
就像AI比人类更擅长写代码,AI肯定也会比人类更擅长LLM开发的。