SWE-OPD 论文:用在线蒸馏把大型教师模型的智能体编码能力迁移给小模型
用教师模型在学生访问的代码仓库轨迹上打分,Qwen3.5-9B 在 SWE-bench Pro 上白捡 3.5 个点,离线版还省 60% 以上 GPU 时。做小模型编码智能体、算力紧张的团队该看看,连跨 tokenizer 蒸馏和损失下降却输出重复的坑都讲清楚了。
用教师模型在学生访问的代码仓库轨迹上打分,Qwen3.5-9B 在 SWE-bench Pro 上白捡 3.5 个点,离线版还省 60% 以上 GPU 时。做小模型编码智能体、算力紧张的团队该看看,连跨 tokenizer 蒸馏和损失下降却输出重复的坑都讲清楚了。