Agentic RL

Agentic RL（智能体强化学习）是指让大模型在多步任务、工具调用和真实环境交互中通过奖励信号自我改进的训练范式，目前被视为从静态对话模型走向自主智能体的核心技术路径。与传统的单轮 RLHF 不同，它强调环境沙箱、长程任务奖励和训练基础设施的协同演进。

Agentic RL 的近期进展

PrimeIntellect发布 prime-rl 0.6.0：PrimeIntellect 推出 prime-rl 0.6.0，基于 vLLM 构建推理引擎，宣称支持万亿级 token 规模的 Agentic RL 训练，反映开源训练框架正快速追赶前沿实验室的基础设施水平。

DeepSeek DSec 弹性算力：DeepSeek 公布了名为 DSec 的弹性计算方案，用于智能体训练沙箱，规模约为每天 300 万次任务、38 万以上并发，显示环境沙箱供给正在成为新的算力瓶颈。

小米直播 RL 训练：小米在 V2.6 训练期间公开直播了 RL 运行过程，每步约 20 亿 token、1568 个 prompt 各采样 16 次，训练透明度成为厂商争取信任的新方式。

Harness Scaling 论文：arXiv 新研究提出把评测 harness 的多样性作为 Agentic RL 的新扩展维度，主张训练脚手架本身的差异化也能带来规模化收益。

EnvFactory 自动合成环境：EnvFactory 工作自动合成可执行训练环境并配合鲁棒 RL 策略，提升工具使用型智能体表现；另一项 AgenticRL 框架研究则报告无人机导航成功率提升 71%。

当前焦点与观察点

行业讨论正从"能否训练"转向"环境供给与 harness 设计"。DeepSeek、小米等做法表明，沙箱吞吐量和并发规模正成为衡量智能体训练能力的新指标，而 EnvFactory、Harness Scaling 等研究则指向环境与评测脚手架的自动化生成。另一条线索是教学与生态：CMU 的 AI Agents 课程（11-768）已公开强化学习系统专题讲义与视频，IBM 也以 Apache 2.0 协议发布了内置 agentic 能力的 Granite 4.2 开源权重系列。值得观察的问题包括：环境合成的质量如何验证、奖励黑客（reward hacking）在长程任务中是否加剧，以及开源框架与闭源实验室在训练规模上的差距能否持续收窄。

综述

Agentic RL 的近期进展

当前焦点与观察点

相关报道