#强化学习

arXiv 上这篇 TIDE 讲怎么让小模型智能体训练时先跟老师学、再靠自己 RL 变强，比固定混合比例的做法更灵活，做智能体训练的可以看看。

一篇训练方法论文：让统一模型自己看图、自己改图，用整条轨迹的 RL 训练，GenEval 比 SFT 高了 12 分，推理时还不用 verifier。

这篇论文教模型“跳出常规”做科研构思，方向多了近三成，原创性涨 66 分，做科研的人可以看看怎么让 LLM 帮你想点子。

用强化学习把开源模型训练成会挑求解策略的优化器，成绩还能压过 GPT-5.5，做运筹优化的可以看看。

用 RLVR 训练模型的人该看看：验证器出错时奖励会涨但答案变错，论文还给了基于审计的修正办法。

伯克利这边搞了个 X-Reset，把人类手部演示只用来当 RL 重置点，不用模仿，20 个物体三种机器人本体都能训出通用抓取策略，还能 sim-to-real 直接迁移。

这篇讲了个挺新的思路：不微调模型，而是让一个 proposer 用强化学习学会改智能体的 harness，测试时边跑边改。做 Agent 框架的可以看看。

GAIL 这些老方法里加正则化为什么效果好，这篇终于给出了数学证明，还配套了新算法，做强化学习理论的朋友可以看看。

做智能体 RL 训练的朋友可以看看，KV 缓存不清空改成流式传递，训练直接快 2.6 到 5 倍，还能当循环记忆用，即插即用。

说蒸馏防御没用的人来了：只要蒸馏后再跑一轮 RL，很多防御就失效。做模型安全或 API 防护的值得看看。

多智能体离线RL的新做法：部署后不用重训，靠critic梯度在测试时微调动作，MPE和SMAC上平均提升约9%，延迟只多6%。

把整个限价订单簿换成强化学习智能体，结果出现了相变，市场冲击也不再符合平方根定律，做量化的人可以看看。

做 RL 后训练的朋友可以看看这篇：换了奖励函数不用重跑训练，用现有模型就能近似出新策略，论文还给了理论证明。

Roblox 把游戏搜索的查询理解拆成多组件，用搜索引擎实时反馈做奖励来训练 LLM，NDCG@20 提了 8.9 点，做法挺特别。

苏黎世团队联合瑞士国铁做了个铁路维护的 MARL 框架，小网络上训练完直接零样本搬到大规模网络，不用重训还比基线省时间。

量子计算编译圈的朋友可以看看：这篇用强化学习把 pass 选择、设备选择和调度捏到一个框架里，还兼顾保真度和延迟。

这帮人拿 10 万篇 CS 论文的引用量当奖励，训练 LLM 生成更可能被高引用的科研点子，还专门设计了防作弊的评估办法，思路挺有意思。

教小模型做数学题的新训练方法，把教师模型的逐token提示和答案对错验证揉进一个GRPO更新里，Qwen3-1.7B和4B都涨了不到1个点，做RL训练的可以看看细节。

给机器人策略做"删除指定动作"的遗忘方法，在 Unitree G1 和 H2 上验证过，涉及 GDPR 和安全问题的话很值得看看思路。

训练医疗问诊模型一直只会看最终诊断对不对，这篇给每个问题单独打分，连没问出口的问题也能学，比 GRPO 少问三分之一轮就赢了。

做强化学习的可以看看：RACER 用自适应扰动和 critic 一致性正则，解决了对抗训练里对手太狠把智能体带偏的问题，连续控制实验效果确实比老基线稳。

多智能体协作不用中心化训练也能逼近团队最优解，还带样本复杂度证明，做分布式决策的可以看看。

一个小的概念生成器经过 RL 训练后，能当搜索策略帮大模型多解出难题，还能跨模型复用，思路挺有意思。

标注预算不够又想评估策略？这篇 arXiv 论文告诉你怎么分配人工标注最省钱，RMSE 能降一半以上。