LM2LM：用 RL 训练 LLM 提出语言模型改进方案

这篇 arXiv 论文提出 LM2LM 方法，用强化学习训练 LLM 生成有效的语言模型改进提案。为解决真实反馈昂贵的难题，团队使用研究世界模型（RWM）作为 RL 的奖励模型，从上下文中的真实实验记录预测提案收益，并定期将当前策略提案的真实执行结果回填到上下文以保持反馈可靠。在八个自回归和扩散语言模型开发环境中，Qwen3.8-27B 经 LM2LM 训练后在留出任务的真实执行评测中超越了 GPT-6-sol，即使后者可参考 300 条真实实验记录，同时数据生成成本降低 33%。该方法还能泛化到训练时未见过的模型家族。