#RLVR
Raschka 的 RLVR 系列第二课,用 GRPO 亲手训推理模型,讲透 clipped ratio、KL 损失和 reward hacking,代码全给,适合想上手 RL 后训练的人。
Keras 之父 Chollet 抛了个有意思的问题:RLVR 只能拉高数学和代码,其他领域能不能跟着涨还不确定,这直接决定接下来模型能走多远。
Raschka 又更新了,这讲直接用 PyTorch 手写 GRPO,把 Qwen3-0.6B 的数学成绩从 15% 拉到 47%,想搞懂推理模型怎么训的别错过。
Raschka 又出新教程了,这次手把手带你从零写 GRPO,把 DeepSeek-R1 那套推理训练方法完整实现一遍,还带 MATH-500 评测结果。
Thom Wolf 点名的一套开源 RL 环境要来了,附约 7k 训练数据和框架,还练出 Artificial Analysis 前六的模型,做 RL 的可以蹲一下。
做LLM推理强化学习的团队终于有了更精细的熵控制方案——PAEC在数学推理任务上直接提升多数投票性能,做RLVR的开发者值得关注这个位置感知的新思路。
多模态 RLVR 是当前强化学习与视觉语言结合的热点方向,这篇教程从数据集到奖励函数再到导出一步到位,做多模态推理或 RL 研究的团队可以直接照着搭,省去自己踩坑的时间。
做RLHF或推理模型训练的团队,终于有了一个能精准分配token级信用的方法——DelTA解决了高频格式token淹没关键信号的问题,数学和代码任务上效果显著,值得在自家模型上试试。
做RLHF或RLVR的团队终于有了更聪明的奖励设计——POW3R解决了静态评分标准浪费训练信号的问题,做多模态或文本模型对齐的开发者可以直接参考实验设置。
长上下文 RL 训练的数据构建和奖励设计一直是个难题,GoLongRL 提供了开源数据集和优化方法,做长上下文模型训练的团队可以直接复用,省去大量数据构造工作。