论文精选

Meta 提出替代 OPSD 的训练方法,Qwen3-8B 平均准确率从 30.76% 升至 65.97%

精选理由

Meta 这次没走 self-distillation 老路,用 DCE 加 SRCL 就把 Qwen3-8B 从 30% 拉到 66%,方法细节可以看看。

Meta 团队提出 DCE 与 SRCL 两种方法,作为 on-policy 自蒸馏(OPSD)的替代方案。在 Qwen3-8B 上的测试显示,平均准确率从 30.

正文

76% 提升到 65.97%,提高超过 35 个百分点。

该方法省去了对 on-policy 采样的依赖。代码与论文链接已在推文中附上。

原文 · Aran Komatsuzaki (论文推介)

Meta's team proposes DCE + SRCL as an alternative to on-policy self-distillation (OPSD).

Achieved significant gains: 30.76% avg acc -> 65.97% on Qwen3-8B

https://t.co/nAIHRZWNDx https://t.co/u2hHD6QmpU

产业坐标与信源核验

本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Meta、Qwen3-8B、OPSD、开源模型,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Aran Komatsuzaki (论文推介)」(@arankomatsuzaki),经 AITOP 多维评分管线结构化提炼。