阿里千问发布 QwenGyre，面向超长程智能体任务的在线强化学习框架
千问开源了一个专门训练长程智能体的 RL 框架，GPU 能边跑任务边抽空训练，官方实测比 Async 快 1.78 倍，做智能体训练的可以看看。
#强化学习
共 669 条 · 7 天 50 条 · 30 天 223 条 · 话题观测 →
10月12日
自动驾驶车辆集体路径规划引入边际成本奖励，减少对人类驾驶车辆的干扰
自动驾驶车抢路会让人类司机变慢，这篇论文在 MARL 奖励里加了个边际成本项，实验里人类司机受影响从 1.7% 降到 1.1%，做交通仿真的可以看看。
MCGPO：基于匹配上下文的 LLM 智能体训练新方法
训练智能体只在终点给反馈、中间决策没法打分？这篇 MCGPO 直接复用已有轨迹做加权偏好，Qwen3-8B 在 WebShop 上提了 5 个点，还不额外加 critic。
AlphaNIST：仅用二值奖励让机器人学会 NIST 装配板 20 项任务
学 AlphaGo Zero 的思路做机器人装配：不给演示、只给成败信号，一个策略搞定 NIST 装配板全部 20 个任务，成功率达 98.2%，值得看看它自己摸索出了什么招。
Hugging Face 将 OpenAI 数学成果转为开源 RL 训练环境
Hugging Face 把 OpenAI 的数学题搬进了开源 RL 环境，405 道 Lean 形式化题自动判分，接进训练流程就能让模型自己刷题学证明。
10月11日
PewDiePie 分享后训练环境任务踩坑：先定截止时间再迭代
PewDiePie 拍了期用 env 做后训练的视频，说自己老陷在生成任务数量不够的循环里，Hugging Face 的 merve 也共鸣了，做 RL 训练的可以看看这条经验。
Sebastian Raschka 第二讲：手把手用 GRPO 从零训练推理模型
Raschka 的 RLVR 系列第二课，用 GRPO 亲手训推理模型，讲透 clipped ratio、KL 损失和 reward hacking，代码全给，适合想上手 RL 后训练的人。
Nathan Lambert 谈 RL 数据质量与评估科学
Nathan Lambert 聊了 RL 训练数据为什么质量差、怎么用评估基准来倒逼数据质量，还提到他在给 Mercor 做顾问。做后训练或数据标注的可以看看他的思路。
10月10日
PostTrainArena 开放竞赛：用你的 Agent 训练 Qwen3.8-27B 冲 SOTA
想让你的 Agent 真刀真枪比一场？BenchFlow 办了场比赛，用免费 GPU 训 Qwen3.8-27B，看谁的环境设计能把模型调到最强。
10月9日
KingKong Technology 开源 Jumper 机器人：1.8 kg 螃蟹式设计，可跳过 400 mm
KingKong 把 1.8 kg 的 22 自由度跳跳机器人 Jumper 整套开源了，从 MuJoCo 强化学习到 RKNN 部署都有，能跳 400 mm，做硬件的朋友可以直接复现。
论文09:52
QuotientPO：面向基因组尺度代谢模型修复的商空间探索方法一篇挺有意思的方法论文：把等价的修复方案归到同一个机制里再去做探索，在2212个代谢模型上把成功率从17.93%提到20.10%，思路值得做科学发现方向的人看看。
论文：将 Jev 决策模型用作强化学习中的参考策略与探索裁判
有意思的尝试：Jev 不生成文本、一次前向就出答案，论文让它当参考策略、探索裁判和回放评分器，MiniGrid 和 Atari 上都跑赢了标准 RL 学习器。
NVIDIA 提出 NeMo-DCR，RL 训练检查点同步提速 12 到 40 倍
NVIDIA 发现 RL 每步只改 1% 的权重，于是做了个只传差异的检查点同步方案，1T 模型从 87 分钟降到 150 秒，跑大规模 RL 的团队可以看看。
10月8日
论文10:59
SQAM：用标量伴随匹配做 Q-Learning，加速流策略 RL 微调流策略微调太慢的问题有解了，这篇 SQAM 砍掉了每步的反向传播计算，OGBench 难题成功率提升最多 35 个点，还验证到了真实双臂机器人上。
论文10:31
DRIVE：用多样性驱动的 RL 微调提升 VLA 泛化能力一篇机器人方向的新论文：给 VLA 模型加了个多样性奖励来做 RL 微调，π_0 分布外成绩提了 5.3 分，真机上成功率也从 64% 涨到 73%。
RollVerify：用验证修复机制兼顾长尾 rollout 强化学习的效率与准确率
训练 LLM 做 RL 时长尾 rollout 又慢又掉点？这篇 arXiv 论文的 RollVerify 提前验证修复样本，效率效率、准确率都不丢。
Google 推出 EnvHarness：动态调整环境提升 Agent 强化学习效果
Google 在 COLM 2026 现场演示 EnvHarness，一个给 Agent 环境做动态改造的插件架构，做强化学习的可以看看思路。
Microsoft Research 推出 Agent Lightning，让现有智能体接入 RL 训练
微软研究院的这个 Agent Lightning 挺实用，做智能体的朋友不用重写框架，现有的 Agent 直接接上就能跑强化学习训练。
10月7日
vLLM 将 Claude Code 等 10 个 harness 转为 RL 环境
有人把 Claude Code、Codex 这些 harness 全改成了 RL 环境，接 vLLM 就能自己设计奖励，训练后工具调用少了 31%。
EESD：用 Dirichlet 证据加权改进代码智能体自我纠错学习
一篇教代码智能体"怎么从自己的纠错里学到更多"的论文，在 DeepSeek/CodeARC 上把 Pass@1 从 15.0% 拉到 20.4%，做法挺有意思。
IdeaAnchor：训练大模型从文献中生成研究新想法
新加坡国立和 collaborators 出的一篇论文，教模型从一堆论文里提炼新研究点子，训练加检索两条路分开验证，做科研 AI 的可以看看思路。
论文10:09
RLCP：用校准剪枝让序列推荐的动作集随会话动态伸缩做推荐系统的朋友可以看看这篇：RLCP 让推荐候选集大小随会话动态变化，在 KuaiRand-Pure 和 MovieLens 1M 上多样性最高到基线的 5.21 倍。
