DeepSeek 新版 V4.1-Flash-1017 用自反馈强化学习练出了从零写完整项目的能力,官方放出了做游戏和 3D 建模的演示。
#强化学习
DeepSeek 周末悄悄更新了 V4.1 Flash 1017,主打一句描述就能生成完整游戏或 3D 项目,做独立开发 or 玩编程的可以试试。
Decagon 做客服智能体的工程师要讲 post-training、RL 和低延迟推理,还要聊怎么把系统扩到 1T 参数,做推理优化的可以看看。
LinkedIn 工程师要讲他们怎么用 Ray 把 CPU 预处理和 GPU 训练串起来跑强化学习,做分布式训练的可以听听他们的实践经验。
论文提出给多智能体系统配一个监工,用 GRPO 训练出能自动纠偏的 steering agent,做 agent 系统的可以看看思路。
Meta 这篇论文把文档整理变成了 RL 训练任务,builder agent 提前建好文件系统,BrowseComp-Plus 上比检索基线高 33 个点,做长文档问答的可以看看。
Meta 开源了 Muse Spark Open,训练时的 RL 推理用的就是 vLLM,发布当天就能直接在 vLLM 上跑起来。
vLLM 出了个新方案,让 RL 训练时采样和训练算出来完全一致,做 Agent 强化学习的开发者可以看看省坑。
训练 LLM 推理的同学看看:单条 rollout 就能做 token 级信用分配,数学上还比 GRPO 快 1.2 到 2.3 倍,代码比较可以少八倍采样。
Google DeepMind 这篇论文把监督学习和强化学习的好处合在一起,26 个稀疏奖励任务上都跑赢了以前的 RL 方法,搞 RL 的可以看看。
浙大团队烧了 1.2 万 GPU 小时把 10 种智能体训练方法拉到同一环境里跑了一遍,结论是 GRPO 依然难被打败,做 Agent RL 的值得看看.
训练编程智能体只看测试通过与否,组内全过或全败就没信号。这篇论文让模型自己 pairwise 比较轨迹当奖励,Qwen3-14B 白拿 2.6 个点。
一篇教游戏智能体超越演示数据的新方法,用16个合成环境做强化学习,MineDojo-300成功率从12.63%拉到38.33%,做agent训练的可以看看。
一篇把 LLM 用于自适应码率、拥塞控制这类网络任务的研究,NetGRPO 比 NetLLM 高 23.6% QoE,代码和模型权重都开源了。
arXiv 上这篇论文讲怎么在状态无界的多人随机博弈里学 Nash 均衡,用单条轨迹加 GP 建模,理论证明和数值实验都有,做博弈论强化学习的可以看看。
Qwen 团队放出了 QwenGyre,一个训练编程智能体的弹性 RL 框架,能跑几小时的 rollout、处理近百万 token,值得做智能体训练的开发者看看。
Qwen 开源了个新训练框架 QwenGyre,GPU 能在 rollout 和训练间动态调度,跑 70 万 token 的长任务智能体训练比之前快近一半,做 RL 的可以看看。