研究重新审视“RL 泛化、SFT 记忆”：SFT 数据质量与规模是关键

arXiv 论文（编号 2611.14912）以 Qwen2.5 和 Qwen3 系列模型为实验对象，重新检验“RL 泛化、SFT 记忆”这一流行说法。研究发现数据来源至关重要：精心混合的 SFT 数据集明显优于单纯由更大模型生成的数据。 在数据规模上，当 SFT 与 RL 匹配正确 rollout 数量时，SFT 泛化能力大幅提升；匹配总 rollout 预算时，SFT 能达到与 RL 相当的泛化水平；两者结合后 SFT 甚至超过 RL。作者还用 LLM 标注分析训练 rollout 中的解题方法，发现更大数据集覆盖更多尾部方法，这些尾部方法提供了可泛化的推理信号。 论文最后通过分析浅层 Transformer 在 RL 与 SFT 下的训练动态，为上述实证结论提供理论支撑。