Partial rollout（部分回滚/部分展开）是大语言模型在线强化学习中的一种样本调度机制：智能体在环境中生成的轨迹不必等整条 episode 完成才参与训练，而是允许在中间状态处截断、存档，并在后续阶段继续采样，以缓解长程任务的训练-推理同步等待问题。随着智能体任务从单轮问答转向数百步以上的长程交互，partial rollout 已成为训练框架与推理服务设计中讨论最多的工程焦点之一。
Partial rollout 的近期进展
当前焦点与观察点
当前的争议集中在两个层面。一是正确性：在中间状态截断后，环境状态与模型权重可能在续采前发生变化，导致轨迹的前后段由不同策略生成，引入偏差，RollVerify 等工作正是尝试用验证修复来兜底。二是工程收益：对于评测基准中常见的短任务，partial rollout 的收益有限，只有当 episode 长度分布出现明显长尾时才显著，因此社区也在借助基于正-无标记学习的 LLM 评估量化与审计和测量优先的智能体排行榜审计框架这类工作，更审慎地界定哪些任务真正受益。总体来看，partial rollout 正从论文中的技巧逐步沉淀为训练框架的默认选项，但其与异步权重更新、KV 缓存管理的协同仍处于快速演进阶段，值得持续观察。